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中 文 版 序 


日 本 京都 大 学 福 岛 雅 夫 (Masao Fukushima) 教授 是 我 的 好 友 ， 他 是 国际 知名 
的 优化 专家 , 是 研究 均衡 问题 的 国际 权威 之 一 . 福 岛 教授 也 是 亚太 地 区 各 种 优化 学 
术 活动 的 重要 组 织 者 之 一 , 为 亚太 地 区 优化 研究 的 发 展 作出 了 重要 贡献 . 特别 值得 
一 提 的 是 , 福 岛 雅 夫 教授 在 促进 中 日 学 术 交 流 , 以 及 为 我 国 培养 优化 青年 人 才 等 方 
面 发 挥 了 重要 作用 . 

《 非 线性 最 优化 基础 》 是 福 岛 雅 夫 教授 的 大 作 . 该 书 全 面 系统 地 介绍 了 非 线 性 
最 优化 的 基本 理论 (最 优 性 条 件 、 对 偶 理论 等 ) 及 相关 的 凸 分 析 基 础 , 还 介绍 了 各 
种 均衡 问题 (包括 变 分 不 等 式 、 互 补 问题 、 MPEC 等 ) 的 最 新 结果 . 这 是 一 本 非常 
优秀 的 著作 , 它 既 对 从 事 优 化 研究 的 科研 人 员 有 参考 价值 , 同时 也 可 用 作 大 学 高 年 
级 本 科 生 及 研究 生 教 材 或 参考 书 . 

林 贵 华 博士 曾 师 从 福 岛 雅 夫 教授 , 在 优化 理论 和 方法 , 特别 是 在 带 均衡 约束 的 
数学 规划 问题 以 及 变 分 不 等 式 与 互补 问题 等 方面 作出 了 突出 的 贡献 。 林 贵 华 博士 
是 我 国 为 数 不 多 的 优秀 青年 运筹 学 专家 之 一 , 由 他 来 翻译 福 岛 雅 夫 教 授 的 著作 是 再 
合适 不 过 的 了 . 

福 岛 雅 夫 教授 的 《 非 线 性 最 优化 基础 》 的 中 译本 的 出 版 是 一 件 值得 庆贺 的 嘉 
事 . 我 相信 , 它 必 将 对 我 国 科 学 研究 和 优化 人 才 的 培养 起 到 积极 作用 . 


袁 亚 湘 
2010 年 8 月 


中 文 版 前 言 


中 国 已 经 出 了 许多 优秀 的 优化 专家 , 近年 来 活跃 于 国际 优化 领域 的 青年 学 者 更 
是 日 益 增多 , 以 中 国 、 日 本 为 中 心 的 亚太 地 区 业已 成 为 国际 优化 界 的 骨干 力量 之 一 . 
另外 , 伴随 着 社会 多 元 化 的 发 展 , 最 优化 理论 作为 研究 解决 实际 问题 的 有 效 方法 的 
实用 学 科 , 其 应 用 范围 正在 不 断 扩大 , 重要 性 正在 迅速 增长 . 在 这 样 的 背景 下 , 只 要 
本 书 能 对 那些 有 志 于 优化 研究 , 或 者 为 了 解决 各 种 实际 问题 而 欲 学 习 最 优化 理论 的 
人 们 有 稍 许 的 帮助 , 本 人 都 会 深 感 欣慰 . 

本 书 的 译 者 林 贵 华 教授 是 已 在 国际 知名 学 术 期 刊 发 表 多 篇 学 术 论 文 的 富有 朝 
气 的 学 者 , 也 是 本 人 最 为 信赖 的 弟子 之 一 . 他 在 本 书 翻译 期 间 非常 认真 地 阅读 了 原 
书 , 并 就 书 中 内 容 提 出 了 若干 修订 意见 , 以 使 本 书 的 中 文 版 更 趋 完 善 . 衷心 地 感谢 
林 教 授 的 辛苦 努力 ， 同 时 也 感谢 协助 翻译 第 3 章 的 韩 海山 教授 . 最 后 ， 谨 对 为 使 
本 书 在 中 国 顺 利 出 版 尽心 尽力 的 圳 亚 湘 教授 表示 深 深 的 谢意 ， 愿 我 们 之 间 的 友谊 
长 存 ! 


福 岛 雅 夫 
2010 年 7 月 
于 日 本 京都 


前 言 


最 优化 理论 的 起 源 可 以 追溯 到 18 世纪 L. Euler, J.L. Lagrange 等 对 与 力学 相关 
的 极 值 问题 或 者 变 分 问题 统一 处 理 方法 的 研究 . 但 是 , 一 直到 G.B. Dantzig 于 1947 
年 开发 出 针对 线性 规划 问题 的 单纯 形 法 , 并 且 在 计算 机 飞速 发 展 的 时 代 背 景 下 作为 
解决 现实 问题 的 强 有 力 工具 得 到 普及 之 后 , 现代 最 优化 理论 才 得 到 了 极 大 发 展 . 后 
来 , 以 H.W. Kuhn 与 A.W. Tucker 关于 非 线性 规划 问题 最 优 性 条 件 的 研究 为 代表 
的 众多 成 果 相 继 发 表 , 并 很 快 莫 定 了 最 优化 理论 的 基础 . 特别 地 , 由 W. Fenchel 与 
R.T. Rochafellar 等 于 20 世纪 60 年 代 系统 化 的 凸 分 析 理 论 , 为 研究 最 优化 问题 的 
对 偶 性 、 最 优 性 等 基本 性 质 提供 了 必 不 可 少 的 数学 工具 , 并 且 至 今 仍然 能 够 得 到 各 
种 推广 . 另外 , 在 数值 解法 方面 , 人 们 在 20 世纪 六 七 十 年 代 开发 出 了 拟 牛 顿 法 、 序 
列 二 次 规划 方法 等 各 种 适用 于 求解 现实 问题 的 方法 . 伴随 着 N. Karmarkar 于 1984 
年 提出 的 内 点 法 及 其 各 式 各 样 的 推广 , 以 及 针对 半 定 规划 和 凸 优化 等 问题 的 牛顿 法 
研究 的 进展 , 最 优化 理论 的 发 展 在 20 世纪 90 年 代 进 入 了 崭新 的 阶段 . 随 着 21 世 
纪 的 来 临 , 可 以 预期 最 优化 理论 与 方法 将 进一步 拓展 其 应 用 范围 , 并 将 在 各 种 领域 
中 发 挥 更 加 重要 的 作用 . 

本 书 的 目的 是 从 凸 分 析 的 观点 讲解 在 处 理 最 优化 问题 时 必要 的 基础 知识 .本 
书 以 著者 的 旧作 《 非 线性 最 优化 理论 》( 产 业 图 书 , 1980 年 ) 为 蓝本 , 特别 在 以 下 几 
个 方面 进行 了 大 幅 添 加 和 修正 : 首先 , 对 凸 集 与 凸 函 数 的 内 容 进 行 了 修改 和 扩充 ， 
同时 还 增加 了 不 可 微 函数 与 单调 映射 等 相关 内 容 . 其 次 , 为 使 本 书 尽量 自 成 体系 , 书 
中 根据 需要 随处 增加 了 旧作 中 没有 的 结果 , 从 而 使 得 书 中 与 凸 分 析 相 关 的 内 容 占 了 
将 近 一 半 , 因此 , 本 书 某 种 程度 上 也 可 以 作为 凸 分 析 教 材 使 用 . 再 次 , 在 作为 最 优化 
理论 核心 内 容 的 最 优 性 条 件 与 对 偶 性 理论 两 章 , 特别 增加 了 介绍 半 定 规划 问题 及 相 
关 基 本 结果 的 章节 . 最 后 , 本 书 删除 了 旧作 中 的 部 分 内 容 , 取而代之 的 是 新 增加 了 
一 章 , 用 来 介绍 近年 来 取得 极 大 进展 的 均衡 问题 , 其 中 主要 包括 变 分 不 等 式 问题 、 
互补 问题 以 及 均衡 约束 数学 规划 问题 (MPEC) 等 研究 课题 . 

本 书 的 阅读 对 象 是 大 学 本 科 生 或 者 硕士 研究 生 . 但 是 , 正如 前 面 所 述 , 本 书 旨 
在 自 成 体系 , 以 使 读者 不 需 频繁 参考 其 他 书籍 即 能 够 理解 书 中 内 容 . 再 者 , 每 章 后 面 
都 有 相当 数量 的 习题 . 习题 的 主要 目的 当然 是 为 了 加 深 对 该 章 内容 的 理解 , 但 习题 
中 也 涉及 正文 中 没有 介绍 的 内 容 , 因此 , 习题 部 分 也 起 着 补充 正文 内 容 的 作用 . 只 
要 本 书 对 最 优化 理论 及 其 应 用 的 研究 进展 能 够 稍 有 帮助 , 对 著者 来 说 就 将 是 莫大 的 
喜悦 . 要 是 能 蒙 读 者 坦诚 提出 建议 或 批评 , 那 更 是 著者 的 荣幸 . 


-i 前 言 


搁 笔 之 际 , 谨 对 仔细 阅读 本 书 原稿 、 指 出 不 妥 之 处 , 并 提出 有 益 建议 的 关 西 大 
学 工学 部 的 山川 荣 树 和 京都 大 学 情报 学 研究 科 的 山下 信雄 表示 衷心 感谢 , 同时 也 向 
本 书 出 版 之 时 给 予 极 大 帮助 的 朝 仓 书店 编辑 部 致 以 深厚 的 谢意 . 最 后 , 著者 满怀 感 
激 之 情 , 愿 将 此 书 献 给 妻子 桂子 . 


福 岛 雅 夫 
2001 年 清明 
于 京都 
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第 1 章 最 优化 问题 简介 
本 章 首先 介绍 最 优化 问题 及 一 些 相关 的 基本 概念 , 然后 简 述 本 书 的 主要 内 容 


1.1 最 优化 问题 


本 书 主要 讨论 如 下 问题 : 给 定 n 元 实 值 函数 9 (i = 1,…,m) 与 hj ( = 
1,.… ,1), 求 满足 约束 条 件 (constraint) 


9i(Z1 Zr] Ss 0, i=1,.,m 


hj(z1°** Tn) =0, j=1,.,l 


的 向 量 > = (z1,… ,zn), 使 得 实 值 目标 函数 (objective function) f 在 = 处 达到 
最 小 . 

一 般 称 上 述 问 题 为 数学 规划 问题 (mathematical programming problem) 或 者 最 
优化 问题 (optimization problem). 本 书 将 上 述 问题 记 为 


min f(z) 
st. gi(z) <0, i=1,..…,m (1.1) 
hi(z) = 0, j=1,..,l 


由 于 最 大 化 问题 中 只 需 将 目标 函数 乘 以 -1 即 可 转化 为 最 小 化 问题 , 因此 , 除非 预 
先 说 明 , 本 书 只 考虑 函数 的 最 小 化 问题 . 

在 问题 (1.1) 中 , 满足 约束 条 件 的 向 量 z 称 为 可 行 解 (feasible solution), 全 体 
可 行 解构 成 的 集合 称 为 可 行 域 (feasible region)， 此 外 , 函数 9i (i = 1…… ,m) 与 
hj (i = 1,… ,1) 称 为 约束 函数 (constraint function), 而 可 行 域 中 使 得 目标 函数 值 
为 最 小 的 向 量 z 称 为 问题 (1.1) 的 最 优 解 (optimal solution). 

车 目标 函数 f 与 约束 函数 g;, hj 均 为 线性 函数 , 则 称 问题 (1.1) 为 线性 规划 问题 
(linear programming problem)， 目标 函数 与 约束 函数 中 只 要 有 一 个 为 非 线 性 函数 ， 
即 称 (1.1) 为 非 线 性 规划 问题 (nonlinear programming problem). 线性 规划 问题 可 以 
看 成 非 线 性 规划 问题 的 特殊 情形 . 当 目 标 函 数 f 为 二 次 函数 , 而 约束 函数 9% 与 hy 
均 为 线性 函数 时 , 问题 (1.1) 称 为 二 次 规划 问题 (quadratic programming problem). 
若 目 标 函 数 f 与 所 有 不 等 式 约束 函数 g; 均 为 凸 函数 , 而 所 有 等 式 约束 函数 hj 均 为 
线性 函数 , 则 称 问题 (1.1) 为 凸 规划 问题 (convex programming problem). 再 者 , 若 约 
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束 条 件 中 含有 和 矩阵 的 半 正 定 条 件 , 则 称 为 半 定 规划 问题 (semidefinite programming 
problem). 众所周知 , 上 述 问 题 均 为 在 应 用 上 非常 重要 的 非 线性 规划 问题 , 并且 这 
些 问 题 的 特殊 结构 使 得 它们 各 自 具 有 很 多 有 用 的 性 质 . 


1.2 ”本 书 内 容 简 介 


凸 集 、 凸 函数 及 其 相关 性 质 在 所 谓 凸 分 析 的 框架 内 得 到 了 系统 的 研究 , 并 且 提 
供 了 形成 最 优化 理论 核心 的 很 多 重要 内 容 . 第 2 章 将 讲述 凸 集 与 分 离 超 平面 、 锥 与 
极 锥 、 凸 函数 的 共 思 函 数 与 次 梯度 等 基本 概念 及 其 各 种 性 质 , 同时 还 将 介绍 非 凸 函 
数 的 广义 次 梯度 、 点 集 映射 与 其 连续 性 和 单调 性 等 在 处 理 最 优化 问题 及 相关 问题 
时 经 常 遇 到 的 知识 . 该 章 内 容 将 被 以 后 各 章 频 繁 引用 . 

最 优 性 条 件 意 即 最 优 解 应 该 满足 的 条 件 , 它 在 优化 算法 的 设计 以 及 理论 分 析 等 
方面 起 着 基本 的 作用 , 已 经 成 为 最 优化 理论 的 基石 . 此 外 , 当 问 题 中 所 含 系数 的 值 发 
生变 化 时 , 研究 最 优 解 与 目标 函数 值 等 会 受到 何 种 影响 的 问题 也 是 现实 中 的 重要 课 
题 之 一 . 第 3 章 将 详细 讲解 最 常用 的 最 优 性 条 件 一 一 Karusb-Kuhn-Tucker (KKT) 
条 件 , 此 外 也 将 介绍 利用 函数 的 Hesse 矩阵 所 描述 的 二 阶 最 优 性 条 件 、 不 可 微 最 优 
化 问题 的 广义 KKT 条 件 , 以 及 以 矩阵 为 变量 的 半 定 规划 问题 的 KKT 条 件 等 内 容 . 
进一步 , 还 将 讲述 灵敏 度 分 析 的 内 容 , 即 研究 当 系 数 发 生变 化 时 , 最 优 解 的 连续 性 
等 定性 结果 以 及 目标 函数 值 的 变化 率 等 定量 信息 . 

在 研究 最 优化 问题 时 , 在 很 多 情况 下 , 如 果 换 个 角度 来 考虑 对 偶 问题 , 可 能 会 使 
问题 变 得 容易 处 理 . 人 们 利用 这 种 思想 已 经 开发 出 了 针对 各 种 不 同 问题 的 基于 对 
偶 性 理论 的 优化 算法 , 这 些 算法 已 得 到 了 广泛 的 应 用 . 第 4 章 将 首先 介绍 Lagrange 
对 偶 问 题 的 定义 及 其 性 质 , 然后 引入 对 偶 问 题 的 一 般 形 式 , 并 将 特别 讨论 关于 非 凸 
最 优化 问题 的 对 偶 性 ， 此外, 还 将 讲述 凸 规划 问题 的 Fenchel 对 偶 问 题 , 并 讨论 半 
定 规划 问题 的 对 偶 性 理论 . 

第 5 章 将 讲述 包括 变 分 不 等 式 问题 与 互补 问题 等 在 内 的 、 比 最 优化 问题 更 为 
一 般 化 的 均衡 问题 . 均衡 问题 与 最 优化 问题 有 很 多 共通 之 处 , 所 以 该 章 在 内 容 上 也 
和 其 他 章节 密切 相关 . 该 章 将 首先 讲述 均衡 问题 的 解 的 存在 性 与 唯一 性 结果 , 然后 
介绍 能 够 将 均衡 问题 转化 为 等 价 方程 组 或 者 等 价 最 优化 问题 等 形式 的 再 定式 化 方 
法 , 最 后 提出 现实 生活 中 在 众多 领域 均 有 着 广泛 应 用 的 所 谓 均 衡 约 束 均衡 规划 问 
题 , 并 讨论 其 最 优 性 条 件 . 
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本 章 将 讲述 构成 最 优化 理论 基础 的 数学 知识 . 2.1 节 、2.2 节 与 2.6 节 将 简单 总 
结 线性 代数 和 分 析 学 中 的 一 些 基本 内 容 , 其 中 大 部 分 都 是 专业 术语 的 定义 . 2.3~2.5 
节 及 2.7~2.10 节 将 介绍 凸 集 与 凸 函数 的 各 种 性 质 . 之 后 在 2.11 节 将 2.10 节 中 有 
关 凸 函数 的 一 些 结果 推广 到 非 凸 函数 的 情形 .进一步 , 2.12 节 和 2.13 节 中 将 首先 
引入 点 集 映 射 的 概念 , 然后 考查 其 连续 性 和 单调 性 ， 本章 所 讲述 的 关于 凸 集 与 凸 
函数 的 结论 及 其 推广 属于 凸 分 析 (convex analysis) 的 范畴 , 并 将 被 以 后 各 章 频 繁 
引用 . 


2.1 向 量 与 矩阵 


设 R" 为 全 体 n 维 实 向 量 构 成 的 集合 ( 即 n 维 欧 氏 空间 )，R: 代表 全 体 实数 
的 集合 , 以 下 将 其 简 记 为 R 或 (-o0, +o0). n 维 向 量 = 也 称 为 空间 Rn 中 的 点 ， 
记 为 =e R". 后 文 将 向 量 和 点 作为 同义词 使 用 , 究竟 使 用 哪个 称谓 将 视 情况 而 定 . 
再 者 , 本 书 中 的 向 量 均 表 示 列 向 量 , 在 需要 显示 分 量 时 则 利用 转 置 符号 T 表示 为 
ZT = (Z1,… ,Tn)". 另外 , 为 了 避免 符号 的 复杂 性 , 在 不 致 引起 混乱 的 前 提 下 , 将 
两 个 向 量 z e Rn 与 ye R™ 形成 的 n+m 维 向 量 (zT,yT)T e R"tm 表示 为 
(Zz,y)T e R"tm, 或 者 更 简单 地 记 为 (z,y) e Rnr+r. 再 有 , 向 量 的 分 量 将 使 用 带 下 
标的 zl … ,zn 或 者 ri (i = 1,… ,n) 表示 , 而 向 量 序列 则 使 用 带 上 标的 zl, z2?,…. 
或 者 {z*} 来 表示 . 

两 个 向 量 rz,y < R” 的 和 定义 为 2 十 y = (zl 十 妇 ,… ,zn 十 加 )T， 而 实数 
a € R 与 向 量 zx 的 数 乘 则 定义 为 am = (Qazi,… ,azn)T. 给 定向 量 z,y e Rn, 若 
Ti < Yi (i = 1,… ,n), 则 记 为 z < y; 车 z < yi (i= 1,… ,n), 则 记 为 z <y. 此 外 ， 
零 向 量 用 0 来 表示 . 

对 向 量 z,y € R", 其 内 积 (inner product) 定义 为 (z,y) = zTy = Zi 十 
十 Znyn, 而 Zz € R" 的 (Euclid) 范 数 (norm) 则 定义 为 |zl = Viz,z) = 
V 到 十 … 十 到 . 空间 Rn 中 两 点 = 与 y 之 间 的 距离 规定 为 |z--yl|. 

对 任意 向 量 z,y e Rn 均 有 如 下 Cauchy-Schwarz 不 等 式 (Cauchy-Schwarz 
inequality) 成 立 : 


—llzll llyll < (z, vy) < llzll llyll 
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另外 , 两 个 非 零 向 量 z 与 y 的 夹 角 9 可 由 下 式 定义 : 
(zz 细 ) 


C080 = 一 一 


lzll llyll 


因此 , (z,y) = 0 意味 着 z 与 y 正 交 , 而 (z,y) 大 于 0 (小 于 0) 意味 着 z 与 y 的 夹 
角 是 锐角 ( 钝 角 ). 
给 定 上 个 向 量 21,… ,zk < Rn, 若 


aazl 十 … 十 akzk 一 0 (2.1) 


当 且 仅 当 大 元 数组 (al …… ,ak) = (0,… ,0) 时 成 立 , 则 称 向 量 组 zx1,……. ,zk 线性 
无 关 (linearly independent). 反之 , 车 (2.1) 存在 非 零 解 , 则 称 zl1,.… , zk 线性 相关 
(linearly dependent). 

设 W 为 空间 Rn 的 子 集 , 记 为 W Cc Rn". 若 对 任意 向 量 z,y e W 以 及 任意 
aER 总 有 Z+yEW 及 azeW 成 立 , 则 称 W 为 线性 子 空 间 (subspace). 车 W 
可 表示 为 


W= {zeR"|zs= or +..+ake, aeR areBR} 


即 W 为 向 量 z1,… ,zx e Rn 的 全 体 线性 组 合 构成 的 集合 , 则 称 xz1,… ,zk 张 成 
线性 子 空间 W. 线性 子 空间 W 中 含有 的 线性 无 关 向 量 的 最 大 个 数 称 为 W 的 维 数 
(dimension). 

线性 子 空间 的 具体 例子 包括 二 维 空间 (平面 ) 中 过 原点 的 直线 , 以 及 三 维 空间 
中 过 原点 的 平面 或 者 直线 等 . 再 有 , 空间 Rn 本 身 与 只 含有 和 零 向 量 的 集合 {0} 也 可 
看 成 是 特殊 的 线性 子 空间 . 此 外 , 二 维 空间 中 的 任意 直线 以 及 三 维 空间 中 的 任意 平 
面 或 直线 虽然 大 都 不 是 线性 子 空间 , 但 这 些 集 合 都 包含 由 其 中 任意 两 点 所 确定 的 直 
线 , 将 这 样 的 集合 称 为 仿 射 集 (affine set). 仿 射 集 可 以 看 成 是 某 个 线性 子 空间 的 平 
移 , 故 必 存 在 向 量 z0,z!1,… ,zk e Rn, 便 得 仿 射 集 可 表示 为 


他 esRnlz=z+azl+ 二 akzk a ER,...,ar ER} 
给 定向 量 ae R" (a 关 0) 及 常数 we R, 考虑 集合 
H= {zeR"|(a,s)=a} 


这 是 由 与 向 量 a 正 交 的 向 量 全 体 构成 的 n 一 1 维 线性 子 空间 {zz € Rn|(a,z) = 0} 
经 适当 平移 而 得 到 的 仿 射 集 , 称 之 为 Rm 的 超 平面 (hyperplane). 二 维 空间 中 的 任 
意 直 线 和 三 维 空间 中 的 任意 平面 均 为 超 平面 . 这 些 例子 表明 , 超 平面 了 H 具有 将 空 
间 Rn 一 分 为 二 的 重要 性 质 . 


2.1 向 县 与 矩阵 5. 


给 定 集合 5 C Rn 与 TC R", 二 者 的 和 集 @ 定 义 为 
S+T= {zeR"|z=2+y, zes,yeT)} 
对 ae R, 集合 5 C Rn 的 数 乘 a5 定义 为 
as= {zeR"|z=ar, zes} 
此 外 , 对 给 定 的 集合 XC Rm 与 YC R", 集合 
XxY={(e yesRntrlreXyey} 


称 为 X 与 Y 的 笛 卡 儿 积 (Cartesian product). 
下 面 来 介绍 与 矩阵 有 关 的 概念 . 除非 预先 特别 说 明 , 本 书 只 讨论 实数 矩阵 . 对 
m x n 阶 和 矩阵 


all  Q12 Qln 
Q21 022 Q2n 

A= 
| aml am2 *** amn 


利用 第 (i,j) 个 元 素 ai; 将 其 表示 为 A = [aij] <e Rmxn， 对 给 定 的 两 个 m xn 

阶 和 矩阵 4 = la] 与 B = [bj] 以 及 实数 a € R, 矩阵 的 和 与 数 乘 分 别 定义 为 

入 +B= [aij 二 bij] 与 ah = [aa 对 mmxnm 阶 矩阵 4= [aij] 与 n x1 阶 矩 

阵 已 = bj, 4 与 的 积 AB 定义 为 mx1 阶 短 阵 4B = [3>ewty|. 即 
j=1 


使 m = n = 1, 一 般 来 说 AB 关 BA. 当 AB = BA 时 , 则 称 4 与 B 可 换 
(commutative). 另外 , 矩阵 A < Rmxn 与 向 量 = e Rn 的 积 Az 是 m 维 向 量 , 并 
且 对 任意 zx,y es Rn 及 实数 Be 了 及 均 有 A(az + By) = a4z +548 成 立 , 因此 ， 
矩阵 4 也 可 看 成 由 空间 R” 到 空间 Rm 的 线性 映射 (linear mapping). 给 定 集合 
SSERn, 映射 4:R" 一 Rm 的 像 (image) 定义 为 


45={zeRm|z=4z zeS} SRn 


特别 地 , 车 5 为 线性 子 空间 , 则 4S 也 是 线性 子 空间 . 

对 矩阵 4 = [aij] e Rmxn, 其 转 置 矩阵 记 为 4T = [oil E Rnxm. 车 和 4 为 n 阶 
方 阵 (n xm 阶 和 矩阵 ) 且 满 足 4 = AT, 则 称 4 为 对 称 矩 阵 (symmetric matrix). 全 
体 n 阶 ( 实 ) 对 称 和 矩阵 构成 的 集合 记 为 5". 


名 注意 不 要 与 并 集 5UT 混 消 . 
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车 4 为 n 阶 方 阵 且 对 角 线 元 素 均 为 1, 而 其 他 元 素 均 为 0, 则 称 之 为 单位 矩阵 
(unit matrix), 并 特别 将 单位 矩阵 记 为 工 给 定 mn 阶 方 阵 4, 若 存在 n 阶 方 阵 召 满 
足 4B = BA = 了 , 则 称 A 非 奇 异 (nonsingular). 上 述 和 矩阵 B (如 果 存 在 ) 必定 唯 
一 , 称 为 A 的 逆 矩 阵 (inverse matrix), 记 为 A-!. 

将 正 整 数 集合 {1,2,… ,n} 重新 排列 成 {i1,i2,… ,in} 的 运算 称 为 置换 (per- 


mutation), 记 为 
& ri ") 
7 
对 集合 {1,2,… ,n} 的 置换 总 数 为 n!. 特别 地 , 在 集合 {1,2,… ,n} 中 只 互 换 两 个 


元 素 的 置换 A l ; 
i ey st 
(: 1)=( CY 山 
称 为 对 换 (transposition). 每 个 置换 均 可 通过 若干 次 对 换 来 实现 , 其 中 能 够 经 过 偶 
数 次 对 换 实 现 的 置换 称 为 偶 置 换 ; 反之 , 则 称 为 奇 置换 . 规定 置换 o 的 符号 sgn(c) 


如 下 : 当 o 是 偶 置 换 时 , 其 值 为 1; 当 o 是 奇 置换 时 , 其 值 为 -1. 
给 定 n 阶 方 阵 4, 关于 其 元 素 aij (i,j = 1,… ,n) 的 多 项 式 


bb sgn(o) ali a2iz *** Qnin 
: 


称 为 4 的 行列 式 (determinant), 其 中 o 取 遍 所 有 置换 . 4 的 行列 式 记 为 |4| 或 
det A.， 对 任意 n 阶 方 阵 4 与 B, 必 有 det AB = det A det B 成 立 ， 显然 有 
det J 二 1, 故 det Adet A-!=det AA-!=1, 即 det A-!=1/det A. 易 知 n 阶 
方 阵 4 非 奇 异 的 充 要 条 件 是 det A 了 0. 

给 定 n 阶 方 阵 4, 以 tr 4 表示 其 对 角 线 元 素 之 和 all + a22 十 … 十 ann, 称 为 
4 的 迹 (trace). 对 任意 给 定 的 矩阵 BeR"m*" 及 CeR" mm 有 trBC =trCB 
成 立 . 

当 系数 矩阵 4 e Rnxn 非 奇异 时 , 线性 方程 组 Az = b 的 解 为 = = 4-Ib, 并 
且 其 分 量 可 表示 为 ri = det [Albli]/det A (i = 1,… ,n), 其 中 [4Ioi] 表示 4 的 第 
i 列 用 向 量 b 替换 后 所 得 的 矩阵 . 这 个 结果 称 为 Cramer 法 则 (Cramer's rule). 

引 理 2.1 ”给 定 方 阵 4, B e R"*", 并 设 A 非 奇 异 , 则 有 下 式 成 立 ， 

tr [A-1B] = 汉 et 本 
1=1 

其 中 3 日 表示 B 的 第 i 个 列 向 量 . 

证 明 ”由 Cramer 法 则 知 , det [4|B 由 |i]/det 4 表示 向 量 A-1BH 的 第 i 个 坐 
标 , 而 这 正 是 矩阵 A-1B 的 第 (i,i) 个 元 素 . 加 


2.1 向 量 与 矩阵 :7. 


给 定 mn 阶 方 阵 4, 使 得 
AT = M7 
存在 非 零 解 x 的 数 和 称 为 4 的 特征 值 (eigenvalue), 并 称 其 非 零 解 = 为 对 应 该 
特征 值 的 特征 向 量 (eigenvector). 矩阵 4 的 特征 值 是 如 下 特征 方程 (characteristic 
equation) 的 根 : 
det(XT — A)=0 

由 于 该 方程 的 左 侧 是 关于 和 的 n 次 多 项 式 , 故 特征 方程 的 根 , 即 和 矩阵 4 的 特征 值 ， 
共有 m 个 ( 重 根 按 其 重 数 计算 ). 若 将 这 些 根 分 别 记 为 和 1,… , 和, 则 根据 特征 方程 
的 根 与 系数 的 关系 有 


和 1 十 X2 十 … 十 Mn 一 tr4，ANMM :An = 二 det A 
满足 
QQ =Q"Q=I 
的 nxn 阶 矩 阵 Q 称 为 正 交 矩 阵 (orthogonal matrix). n 阶 ( 实 ) 对 称 和 矩阵 A e Sn 
的 特征 值 Xi,… ,和 Xn 均 为 实数 ,并 且 存 在 适当 的 正 交 和 矩阵 Q, 使 得 4 可 以 对 角 
化 为 
人 
和》2 0 


0 地 
记 上 式 右 侧 的 对 角 答 阵 为 diag [At,…… ,和 a] 或 者 diag [Ai 
车 n 阶 ( 实 ) 对 称 和 矩阵 A e Sr 满足 


QT4Q = 


(2, AT) >0, zER"™ (2.2) 
则 称 4 半 正 定 (positive semidefinite), 记 为 A > O. 进一步 , 若 
(z,4z) >0, zER",z#0 (2.3) 


则 称 4 正定 (positive definite), 记 为 4 > O. A e Sn 为 半 正 定 (正定 ) 的 充 要 条 
件 是 4 的 所 有 特征 值 均 为 非 负 ( 正 ), 故 半 正 定 (正定 ) 矩阵 的 迹 与 行列 式 均 为 非 负 
( 正 ). 半 正 定 矩 阵 A e S" 可 利用 某 个 正 交 矩 阵 Q 对 角 化 为 A = Q diag [和 i]QT. 由 
于 和 i 之 0 (i= 1,… ,n), 因此 , 可 定义 4 的 平方 根 为 4 = Q diag[VRQT. 显然 ， 
4 既 对 称 又 半 正 定 , 并 且 有 A = (A3)? 成 立 . 此 外 , 对 两 个 半 正 定 矩 阵 A € Sn 
与 B e S", 其 乘积 的 迹 满足 tr [4B] = tr [BiAB3], 并 且 由 于 B34AB3 半 正 定 ， 
故 有 tr [AB]>0. 
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半 正 定性 与 正定 性 的 定义 可 以 推广 到 非 对 称 和 矩阵 的 情形 , 即 若 n 阶 方 阵 4 满 
足 条 件 (2.2), 则 称 之 为 半 正 定 矩阵 ; 若 满足 (2.3), 则 称 之 为 正定 矩阵 .然而 , 如 下 
例 所 示 , 非 对 称 和 矩阵 的 正定 性 与 特征 值 的 符号 之 间 不 成 立 像 对 称 和 矩阵 那样 的 明确 
关系 . 

例 2.1 考虑 下 面 的 矩阵 4; 和 42: 


2 -1 2 0 
4i = ~ 


因 和 矩阵 A1 满足 条 件 (2.3), 故 为 正定 矩阵 , 但 其 特征 值 为 (3 土 iV11)/2, 从 而 不 满 
足 特 征 值 均 为 正 的 条 件 . 相反 ，A2 的 特征 值 为 1 和 2, 但 车 取 xz = (1, -1)T7, 则 有 
(z, 42z) = 一 1, 因此 , 42 不 是 正定 矩阵 . 
若 矩 阵 4 e Rnrxn 正定 , 则 由 (2.3) 可 知 
这 lA] >0, zeER",zA0 (2.4) 
满足 此 种 条 件 的 矩阵 称 为 P 矩阵 (P matrix)， 正定 矩阵 一 定 是 P 矩阵 , 反之 则 
不 然 . 例如 , 例 2.1 中 的 矩阵 Az 即 为 P 矩阵 , 但 它 却 不 是 正定 矩阵 . 


2.2 ” 开 集 、 闭 集 与 极限 


以 ze Rn 为 球 心 , r > 0 为 半径 的 球 记 为 B(z,7) = {ye Rn"|ly- zl < r}@. 
设 SC Rn". 若 对 任意 一 点 ze 5, 总 存在 + > 0, 使 得 B(z,r) C 5, 则 称 5 为 开 
集 (open set)、 包含 点 ze Rn" 的 开 集 称 为 z 的 一 个 邻 域 (neighborhood). 补 集 
{z € R"|z 4 5} 为 开 集 的 集合 5 称 为 闭 集 (closed set). 全 空间 R" 与 空 集 g 既 
是 开 集 又 是 闭 集 . 

关于 开 集 与 闭 集 的 交集 (intersection) 和 并 集 (union) 有 如 下 结果 : 

GD 有 限 个 开 集 S (i =1,… ,m) 的 交集 5; 是 开 集 , 任意 个 开 集 5 (i 了 ) 


的 并 集 山 S, 是 开 集 ,其 中 工 为 有 限 或 无 限 指标 集 
(2) 有 限 个 闭 集 5; (i = 1,… ,m) 的 并 集 D 5; 是 闭 集 , 任意 个 闭 集 5; (ie 刀 
的 交集 站 5; 是 闭 集 
1€. 


给 定 集合 5 C R” 与 点 re 5, 若 存在 > > 0, 使 得 Blz,r) 5 5, 则 称 z 为 5 
的 内 点 (interior point)，5S 的 内 点 的 全 体 构成 的 集合 称 为 5 的 内 部 (interior), 记 为 


@ 也 有 将 所 有 主子 式 均 为 正 的 矩阵 定义 为 P 矩阵 的 , 这 与 (2.4) 等 价 , 参见 文献 [12] . 
回 有 时 也 将 B(w,r) 称 为 开 球 , 而 将 集合 巨 (z,r) = {y E Rr | |y 一 z|| 7} 称 为 闭 球 . 


2.2” 开 集 、 闭 集 与 极限 .9. 


int S. 显然 , int 5 是 开 集 . 另外 , 称 包含 5 的 最 小 的 闭 集 为 5 的 闭 包 (closure)j@, 记 
为 cl 5. 属于 cl 5 但 不 属于 int 5 的 点 的 全 体 构成 的 集合 称 为 5 的 边界 (boundary)， 
记 为 bd 5. 

对 任意 集合 S C R", 包含 5 的 最 小 的 仿 射 集 称 为 仿 射 包 (affine hull), 记 为 
af S. 设 re 5, 车 存在 z 的 某 邻 域 U, 使 得 Unaft sc 5, 则 称 z 为 3 的 相对 内 
点 (relatively interior point). 5S 的 所 有 相对 内 点 的 集合 称 为 S 的 相对 内 部 (relative 
interior), 记 为 ri S. 特别 地 , 若 af S = R", 则 有 ri 5 = int 5. 

例 2.2 Ra3 的 子 集 5S= {z ER3|z? 十 2 < 1, zs =1} 的 内 部 int 95= 2 而 
相对 内 部 ri 5S = {zw € R3|z? 十 23 < 1,zs 二 1}. 若 设 5S'= {ze Rs|z?+23= 
1, zs = 1}, 则 有 int S'=ri5S'= 儿 . 

一 般 来 说 , 集合 的 相对 内 部 有 可 能 是 空 集 , 但 车 5 是 非 空 凸 集 ( 见 2.3 节 ), 则 
必 有 ri 8 关 避 . 特别 地 , 若 5 是 孤立 点 集 , 则 由 af S=5 可 知 riS=5. 

下 面 考虑 R* 中 的 无 穷 点 列 {z* |k = 1,2,…}. 若 存在 某 点 豆 E Rn, 使 得 当 
K 一 oo 时 jz* 一 码 | 一 0, 则 称 到 为 点 列 人 的 极限 (limit), 也 称 点 列 {zk} 收 
伍 (converge) 于 元 , 并 记 为 Mim, zk 一 五 或 zk 一 元. 另外 , 若 存在 {x*} 的 菜子 列 
{Zz} 收敛 于 至, 则 称 至 为 点 列 {z*} 的 聚 点 (accumulation point). 

例 2.3 考虑 R2 中 的 点 列 {x*}, 其 中 zx = (cos(kr/2) + 1/k, sin(kx/2) 一 
1/k)T(k = 1,2,…), 该 点 列 没 有 极限 , 但 其 子 列 {fzl 5, x9,…}, {z2 .6,210,…}》， 
{23, 2 2 分别 收 雍 于 (0,1)7, (一 1,0)7, (0, 一 1)7,(1,0)?, 因 
此 , 这 4 个 点 都 是 {x*} 的 聚 点 . 

利用 点 列 的 聚 点 的 概念 可 以 得 到 闭 集 的 下 述 特征 : 若 集 合 S C Rm 内 的 任意 
点 列 {z*} 的 聚 点 均 属 于 5, 则 5 是 闭 集 , 故 5 中 所 有 收敛 点 列 的 极限 构成 的 集合 
即 为 5 的 闭 包 . 

给 定 集合 5 S R", 若 存在 充分 大 的 数 + > 0, 使 得 9 S B(0,7), 则 称 5 有 界 
(bounded). 进一步 , 称 有 界 闭 集 为 紧 集 (compact set)@. 车 5 是 紧 集 , 则 3 中 的 任 
意 无 穷 点 列 必 有 聚 点 , 并 且 每 个 聚 点 均 属 于 5. 

给 定点 列 {fzk} ES R". 车 当 上 ,1 一 oo 时 有 ||z* - zl 一 0 成 立 , 则 称 {zx*} 
为 Cauchy 序列 (Cauchy sequence). 在 Rn 中 , 收敛 点 列 一 定 是 Cauchy 序列 , 而 
Cauchy 序列 必 收 敛 于 某 个 极限 . 

设 {ak} 是 无 穷 实 数列 . 若 实数 亏 满足 对 任意 s > 0, 使 得 ak > + 的 大 只 
有 有 限 个 , 而 使 得 ak > 去 -= 的 上 存在 无 限 个 , 则 称 之 为 {ak} 的 上 极限 (superior 
limit), 记 为 元 = lim sup ak- 类 似 地 , 车 实数 a 满足 对 任意 es > 0, 使 得 ak <a-e 


四 包含 5 的 最 小 的 闭 集 就 是 所 有 包含 S 的 闭 集 的 交集 , 后 文中 的 仿 射 包 与 凸 包 也 是 这 个 含义 . 
@ 该 定义 对 无 穷 维 空间 不 适用 , 但 因 本 书 不 考虑 无 穷 维 空间 ,所 以 也 不 妨 这 样 定义 紧 集 , 
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的 大 只 有 有 限 个 , 而 使 得 ak < &+e 的 上 存在 无 限 个 , 则 称 之 为 {ax} 的 下 极限 
(inferior limit), 记 为 a = lim inf ak- 车 {ax} 有 界 , 则 所 有 聚 点 的 集合 存在 最 大 值 

和 最 小 值 ， 并 且 最 大 值 即 为 上 被 限 到 而 最 小 值 即 为 下 极限 a. 此 外 , 当 {ax} 没有 
上 界 , 也 即 含 有 发 散 到 +co 的 子 列 时 , 则 令 lim sup ax = 十 co, 而 当 {ak} 没有 下 界 ， 


也 即 含有 发 散 到 -oo 的 子 列 时 , 则 令 liminf ax 二 -oo 


2.3 凸 集 


若 集 合 S < R" 中 任意 两 点 的 连 线 仍 包含 于 5, 即 成 立 
TES, YyES, ael0,l]= 1-artitayes (2.5) 
则 称 5 为 凸 集 (convex set) (图 2.1). 


(a) 凸 集 (b) 非 凸 集 
图 2.1 
定理 2.1 ”任意 个 ( 闭 ) 凸 集 5; (ie 刀 的 交集 Ns 仍 是 ( 闭 ) 凸 集 , 其 中 工 
4E. 
表示 任意 指标 集 . 

证 明 令 5= 0 55 并 任 取 z,y € 3. 由 于 对 所 有 ie 工 均 有 zye5 且 5 
为 凸 集 , 故 对 任意 a [0,1] 均 有 (1- a)z + ay e 5i, 从 而 对 任意 a € [0,1] 均 有 
(1 -az+oagye Ns = 5, 因此 , 5 为 凸 集 . 此 外 , 车 所 有 5; 均 为 闭 集 , 则 5 也 为 

i€ 


闭 集 . 罚 

对 任意 集合 5 C R", 包含 S 的 最 小 凸 集 称 为 S 的 凸 包 (convex hull), 记 为 
co 5 (图 2.2). 特别 地 , 当 5 仅 由 有 限 个 点 al,…… ,am e Rn 构成 时 , co 5S 可 表示 为 
co {a1,…. ,am}, 或 者 利用 指标 集 工 = {1,… ,m} 记 为 co {failie 也 }. 


co {al oo a', 0 只 


四 
图 2.2 集合 的 凸 包 


2.3 凸 集 11. 


给 定 m 个 点 z!,… ,zm < R", 由 满足 De 1 且 ai>0(i=1,…,m) 的 
实数 oa,.… ,am 表示 的 n 维 向 量 人 
了 一 alZ1 十 … 十 Qmzm (2.6) 
称 为 21,… ,zxm 的 凸 组 合 (convex combination). 
引 理 2.2 ” 设 点 re Rn 为 mm 个 点 zl …,zm ERn 的 凸 组 合 , 若 几 >m+2， 
则 可 从 z1,… ,zm 中 选 出 至 多 n + 1 个 点 , 使 得 z 可 以 表示 为 这 些 点 的 凸 组 合 . 
证 明 考虑 {z1,… ,zm} 中 能 够 将 z 表示 成 其 凸 组 合 的 子 集 ， 不 失 一 般 性 ， 
设 {z1,… ,zz} (p < m) 即 是 其 中 点 的 个 数 最 少 的 一 个 子 集 . 假设 命题 不 成 立 , 则 
Pp 之 n 十 2 且 存在 au > 0 (= 1,… ,p), 使 得 Djai=1 且 
这 1 


p 
z= oir (2.7) 
i=l 


考虑 zi 一 z? (i=1,…,p 一 1). 由 于 p 一 1>n+1, 因 此 ,这些 向 量 一 定 线性 相关 ， 
从 而 可 找到 81,… , 8,-1 < 也 , 使 得 其 中 至 少 有 一 个 为 正 数 , 并 且 满 足 


p—1 p-—1 P 一 1 
中 pa(c -中 - 呈 an- (Fa) -0 
i=1 i=l1 i=1 


?一 1 p p 
记忆 = 一 Bi, 则 有 》 Piz'=0 及》 8=0, 进 而 由 (2.7) 可 知 
i=1 i=l 


i=1 
p 
= i — Ti ) zw: 
=- 立 ( -ns 
对 任意 re R 均 成 立 . 取 了 = ininfai/Bi15 > 0}, 并 置 ai = oi 一 7B; (i= 1 ,p)， 
p 落 
则 有 z = > ait >》 oa =1, 并且 a4 >0 (i=1,…,p). 再 由 7 的 取 法 , 至 少 存 
i=1 


i=l1 


在 某 个 i, 使 得 a = 0, 这 说 明 z 可 表示 成 p 一 1 个 点 的 凸 组 合 , 这 与 (2.7) 是 = 的 
个 数 最 少 的 凸 组 合 相 和 矛盾 , 故 = 可 以 表示 为 至 多 n 十 1 个 点 zi 的 凸 组 合 . 图 

利用 引 理 2.2 可 以 推导 出 下 述 所 谓 的 Carathéodory 定理 (Carathéodory’s 
theorem): 

定理 2.2 ”任意 集合 5S C Rn 的 凸 包 co 5 等 同 于 由 5 中 至 多 n+ 1 个 点 的 凸 
组 合 的 全 体 构成 的 集合 匀 . 

证 明 由 引 理 2.2 知 , 任意 有 限 个 点 的 凸 组 合 均 可 以 表示 为 这 些 点 中 至 多 n+1 
”外 这 里 不 管 是 9 中 点 的 选取 , 还 是 凸 组 合 中 系数 的 选取 ,都 要 考虑 所 有 的 可 能 性 . 
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个 点 的 凸 组 合 . 因此 , 欲 证 明 本 定理 , 只 需 证 明 S 中 任意 有 限 个 点 的 凸 组 合 的 全 体 
构成 的 集合 与 co 5 一 致 即 可 . 

首先 利用 数学 归纳 法 证 明 对 任意 z1,… ,zm e 5, 由 (2.6) 表示 的 z 属于 co 5. 
当 m = 1 时 , 结论 显然 成 立 . 假设 由 5 中 任意 m 个 点 形成 的 凸 组 合 均 属于 co 5. 
任 取 m+1 个 点 zl ,zmtl € 9, 并 设 ai>0(i=1,… ,m+1) 满足 nat 


i=1 
m+1 
和 欲 证 明 点 z = D> aiz! 属于 co 5. 当 am+1 = 1 时 , 结论 显然 成 立 . 当 am+1 < 1 
i=1 
时 , 则 z = (1 -am+1) Djai/ll 一 amtl)jzi + am+lzn+l. 置 让 = at/ - am+1), 
i=1 


则 有 5 B=1 及 6; > 0 (i 二 1… ,m), 依 归纳 法 假设 可 得 os/(1 omni)z = 
这 1 i=1 


Sani ecos. 又 由 于 cm+l eco 5, 而 co 5 是 凸 集 , 故 有 z e co 5. 
i=l 
由 于 已 经 证 明了 5 中 任意 有 限 个 点 的 凸 组 合 的 全 体 构 成 的 集合 包含 于 co 5,， 
若 进一步 能 够 证 明 前 者 是 凸 集 ， 则 根据 凸 包 co S 为 包含 5 的 最 小 凸 集 这 一 定义 
pad lett tlie 令 5' 表示 3 中 任意 有 限 个 点 的 凸 组 合 的 全 体 构 成 的 集 
合 , 并 在 5' 中 任 取 两 点 z 和 y,， 则 依 定义 知 ，z 与 Y 各 自 可 以 表示 成 S 中 点 
Ti (i 二 1,…,m) 与 (j=1,…,1) 的 凸 组 合 ‘= Do y= pv 对 任 


j=1 


意 实数 Ae [0, 1], 考虑 点 = = (1 -和 )z + 和 Xy. DD 由 8 
i=1 


的 定义 可 得 ze 5S', 故 3' 为 凸 集 . 图 

图 2.3 描述 的 是 定理 2.2 当 n = 2 时 的 情形 . 如 图 2.3 (a) 所 示 , 当 集 合 5 为 整 
块 的 形状 , 也 即 连通 集 (connected set) 时 , 实际 上 co 5S 中 的 每 个 点 均 能 够 由 5S 中 
至 多 ”个 点 的 凸 组 合 来 表示 . 但 是 当 5 不 是 连通 集 时 , 如 图 2.3 (b) 所 示 , 可 能 会 
出 现 某 点 z 由 S 中 任意 n 个 点 的 凸 组 合 均 不 能 表示 的 情况 . 


2.3 ”定理 2.2 (Carathéodory 定理 : n = 2 的 情形 ) 


23 凸 集 .13. 


由 定理 2.2 可 得 到 下 面 的 定理 , 该 定理 的 证 明 不 仅 要 用 到 表示 凸 包 中 任意 一 点 
的 必要 数目 为 有 限 数 的 结论 ， 并 且 该 数目 不 会 超过 n + 1 的 事实 也 将 会 起 重要 的 
作用 . 

定理 2.3 ”有 界 闭 集 S$ Cc Rz 的 凸 包 co 5 是 闭 集 . 

证 明 ”只 和 需 证 明 当 co S 中 的 点 列 {z*} 收敛 时 , 其 极限 去 = im zk 属于 co 5 
即 可 . 由 定理 2.2, 对 任意 , zk 均 可 以 表示 成 n 十 1 个 点 zk … ,zkhn+le3 的 凸 
组 合 


大 “大江 


mk 一 akmkl 十 … 十 OK Lio "tl 


n+l 
其 中 》 af=1 且 af >0 (i=1,.…,n+1). 令 


i=] 
a / wl 
Gr* 一 : ERn+l， z= \ : E Rn+lm 
ok | Rn+1 


由 于 点 列 {(6*,z*)T} e Rn+0) ”有 界 , 因此 , 必 存 在 聚 点 , 设 为 (&”,z”)T, 并 且 其 
坐标 分 别 为 


oF ZT™'l 
da”=| : |eR"t, a”= : E Rn+Dn 
asel Tmt+l 
nn 


n+l 
显然 有 》 ”age = L age >0(i=1,… ,n+l). 由 于 5 是 闭 集 , 故 Zz%'1,.… ,wmtl € 


5. 再 由 点 列 {zt} 的 极限 至 可 表示 为 盏 二 aieaeel 十 .… + ase lzeentl 可 知 ,元 属 
于 co 5. 加 

定理 2.3 中 S 为 有 界 的 假设 不 可 或 缺 . 事实 上 , 如 下 例 所 示 , 无 界 闭 集 的 凸 包 
未 必 是 闭 集 . 一 般 地 , 对 任意 集合 5 C Rn" 总 有 co cl S C cl co 5S ( 留 作 习题 2.5)， 
但 cl co SS co cl 5 未 必 成 立 . 然而 , 由 于 有 界 集 的 闭 包 仍然 有 界 , 则 由 定理 2.3 可 
知 , 当 3 有 界 时 一 定 有 cl co S = co cl 5. 

例 2.4 设 S={zeR?|z1=1, 7z2>0}U{zER?IO0g<Z <1, zs=0}, 则 
5 是 闭 集 , 但 其 凸 包 co 5 = {z € R210 < zl < 1, z2 > 0}U {0} 不 是 闭 集 . 

下 面 介绍 凸 集 的 相对 内 部 与 闭 包 的 相关 性 质 . 

引 理 2.3 ”对 任意 凸 集 5 < R" 均 有 


rEriS, yeEcls, Xel01) 僵 (1-Mz+AMyeErS 


证 明 这 里 只 考虑 af 5 = Ra 的 情形 , 对 于 一 般 情形 只 需 将 af 5S 看 成 维 数 
较 小 的 欧 氏 空间 即 可 类 似 得 证 . 当 af 5 = R" 时 有 riS = int 5, 故 只 需 证 明 对 任 
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意 Ae [0,1), 均 存 在 充分 小 的 。 > 0, 使 得 (1 - M)z + Xy + B(0,e) SG 5S 即 可 . 
y Ecl 5, 故 对 任意 = > 0 总 有 yeES+B(0,s), 于 是 当 e > 0 充分 小 时 有 


(-Mz+Xy+B(0ec(-ANze+AMS+B(Os))+B(0e) 
=(1— Nz+(1—N-i1+ 和 NB(0,e)) + XS 
C(I1-AN)S+AS = 5 


其 中 最 后 一 个 包含 关系 由 z € int 5 可 得 . 硬 

引 理 2.4 设 5S C Rn 为 非 空 凸 集 , 则 z eri 5S 的 充 要 条 件 是 对 任意 re 5， 
均 存 在 /> 1, 使 得 (1 -z+ pz eS5. 

证 明 ”必要 性 显然 成 立 , 下 证 充分 性 . 5 为 非 空 目 集 , 故 ri 3S 关 g. 任 
取 zeri59S 及 />1 令 yy=(1-mz+hze5S. 置 和 =1e(0D, 则 有 
2z=(1-- 和 X)z+》Xy, 由 引 理 2.3 知 zeriS. 加 

定理 2.4 ”对 任意 同 集 5C Rn" 均 有 clriS=clS 及 riclS=ri3 成 立 . 此 
外 , 给 定 两 个 凸 集 5,T Cc R", 则 cl 5 = cl7 当 且 仅 当 ri 5 = riT. 

证 明 因 riSscSscelSs, 故 clriScel5 与 riclS2ri39 显然 成 立 , 现 证 
clri S 2 cl 5. 为 此 , 任 取 yecl 5,zeris 及 和 El[0,1), 并 令 z= (1 一 和 z+ 和 Wy， 
则 由 引 理 2.3 知 z e ri 9. 由 于 当 入 一 1 时 有 >z 一 世故 yeclri5S, 从 而 得 到 
clri S 2 cl S. 下 面 证 明 ricl S$ Cri S. 任 取 z ericl 5, 并 设 z eri5S. 由 于 
zericlScel5, 由 引 理 2.4, 存在 1 > 1, 使 得 y=(1-Amz+HnhzeelS. 令 
入 =1/pe (0,1), 则 z 可 表示 为 z = (1- M)z + Xy, 从 而 由 引 理 2.3 知 z eri 5, 故 
ricl S Cri 3 成 立 . 定理 的 后 半 部 分 由 前 半 部 分 的 结果 即 得 . 站 

定理 2.5 ”对 任意 凸 集 9 C Rn 与 线性 映射 4 : R" 一 R™, 45 必 为 凸 集 , 并 
且 总 有 el 492 hclS 及 ri AS = Aris 成 立 . 进一步 , 给 定 两 个 凸 集 5,T CE Rn， 
则 有 ca(S+T)2ddS+dT 与 ri(S+7T)=ri5+riT 成 立 . 

证 明 ”显然 , 45 是 凸 集 . 由 线性 映射 的 连续 性 易 知 cl A4S 2 Acl 5, 故 有 


cAriS2 AclriS=AcS2AS2Aris 


从 而 可 得 cl AS = cl Ari S. 再 由 定理 2.4 知 ri AS =riAri5, 于 是 i ASC Aris. 
为 了 证 明 反 包含 关系 , 任 取 z e Ari 5, 欲 证 明 z eri A5. 为 此 , 任 取 ze 45, 则 
存在 weS 及 veris 满 足 Au =z 与 hv = z. 由 引 理 2.4, 存在 某 个 j>1, 使 
得 (1 一 ju+yve5, 故 有 A((1 一 jw+jwv) = (1 一 jz 十 Jz EAS. 再 次 利用 引 
理 2.4 即 得 xz eri AS. 若 将 向 量 的 和 运算 看 成 线性 映射 (x,y) 一 工 十 yy， Ss 
后 半 部 分 立即 可 证 . 

如 下 例 所 示 , cl AS = Acl 5 一 般 并 不 成 立 : 
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例 2.5 考虑 闭 山 集 5 = {ze R?|ziz2 > 1, zl > 0,zz>0} 以 及 由 Az = zz 
(ze R?) 定义 的 线性 映射 4:R? 一 R, 则 有 clA5= {zeERIz>0}#Acdl5= 
AS= {reRl|z>0}. 

由 给 定 的 有 限 个 点 0, zl1,… ,zm € Rn 的 所 有 凸 组 合 构 成 的 集合 


s- {oem 


z=》 az =1, o>0, ‘ob (2.8) 

i=0 i=0 
称 为 凸 多 面体 (convex polytope). 凸 多 面体 必 为 紧 集 . 若 (2.8) 所 定义 的 凸 多 面体 
5 中 的 m 个 向 量 zl 一 20,… ,zm 一 z0 是 线性 无 关 的 , 则 称 5 为 m 维 单纯 形 
(m-simplex), 对 应 的 m 十 1 个 点 ro0,zl,…… ,zm 称 为 5 的 顶点 (vertex). 特别 地 ， 
车 SC Rn 是 mn 维 单纯 形 , 则 有 af 5 = R", 并 且 int 5 z CC. 显然, Rn 中 不 存在 
满足 m > n 的 mm 维 单纯 形 . 

例 2.6 考虑 空间 Rn" (n > 3), 则 一 维 单纯 形 是 线段 , 二 维 单纯 形 是 三 角形 , 而 
三 维 单纯 形 是 四 面体 . 

由 x0,z1,… ,zm € R" 的 凸 组 合 与 y!,… ,yt € Rn 的 非 负 线性 组 合 的 和 的 
全 体 构 成 的 集合 


mm 1 m 
z= ari+》 Piy, Yai=1, 


i=0 j=1 i=0 


ai20,1i=0,1,...,m, ;>0, 5 


s- {sem 


称 为 凸 多 面 集 (polyhedral convex set). 凸 多 面 集 也 可 以 定义 为 有 限 个 半空 间 的 交 
集 , 它 是 凸 多 面体 的 推广 ( 见 2.4 节 ). 
2.4 分 离 定 理 


非 空 闭 凸 集 9 C Rn 中 与 点 z € Rn 距离 最 近 的 点 称 为 z 在 5 上 的 投影 
(projection), 记 为 Ps(z), 即 Ps(z) 为 5 中 满足 如 下 条 件 的 点 : 


le- Ps(o)l =min {lz — zl|ze Ss)} (29) 


显然 , 若 ze 5, 则 有 z = Ps(z). 
定理 2.6 设 SC R" 为 非 空间 是 集 , 则 对 任意 点 rs Rn", z 在 9 上 的 投影 
Ps(z) 存在 且 唯一 , 并 且 满足 


{zt— Ps(z),z— Ps(z)) <&0, ze59 (2.10) 
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证 明 ” 当 z€ 5 时 , 结论 显然 成 立 , 因此 , 可 不 妨 假 设 x ¢ 5. 令 5 = inffllz 一 
zll|z € S} > 0, 则 存在 点 列 {z*} C 5, 使 得 jz - zx|| 一 5， 首先 证 明 该 点 列 是 
Cauchy 序列 . 事实 上 , 对 任意 ,1 均 有 


1 2 
le -a =2le -oP+ale -a de B+ | 


成 立 . 由 于 3 了 (z+z1) < 5, 故 有 | -Je + > 6, 从 而 得 
les — zl < le — rl + 2le — will? — 462 —» 0 


这 就 说 明 {Zz*} 是 Cauchy 序列 , 因此 , {z*} 必 收 敛 于 某 极限 z*. 由 于 5 是 闭 集 ， 
故 z* e 5, 并 且 llz 一 2*j=56, 从 而 由 式 (2.9) 知 z* = Ps(z), 此 即 证 明了 Ps(z) 
的 存在 性 . 

下 面 证 明 唯 一 性 ， 假 设 存在 z!,z? e 5, 使 得 zl 关 z?, 并 且 llz - zj = 
lz - z2|| = 5. 同上 可 以 证 明 

Iz — zl <2lz 一 对 十 2 一 z 性 一 462 一 0 

这 与 zi 了 z2 矛盾 , 故 Ps(z) 存在 且 唯一 . 

最 后 证 明 式 (2.10). 由 于 5 是 凸 集 , 则 任意 点 x < 5 与 Ps(z) 的 连 线 必 包 含 
于 5, 于 是 由 Ps(z) 的 定义 知 

Iz- Ps(z)P < lz—{(1—a)Ps(z) +az}ll? 
对 任意 a e (0,1) 均 成 立 , 整理 后 可 得 
2(z — Ps(z),z — Ps(zx)) < allz — Ps(z)): 


再 令 a 一 0 即 得 不 等 式 (2.10). 
图 2.4 描述 了 (2.10) 的 几何 意义 . 
下 面 的 定理 揭示 了 任意 两 点 间 的 距离 不 因 
到 闭 凸 集 上 的 投影 而 扩大 这 一 事实 .这 意味 着 
当 把 投影 Ps 看 成 从 R" 到 Rn 的 映射 时 , 它 具 
有 非 扩张 (nonexpansive) 性 质 . 
定理 2.7 设 SS Rn 为 非 空 闭 凸 集 , 则 有 下 式 成 立 : 


lIPs(z)— Ps(Wi < lz -yl, rz,yeR” (2.11) 
证 阴 ”由 定理 2.6 得 


(z— Ps(x),z— Ps(z)) <&0, zeES 
(y— Ps(y),z— Ps(y)) <0, zeEesS 


图 2.4 到 闭 凸 集 上 的 投影 
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由 于 Ps(z) e S 及 Ps(y) e S, 在 上 面 两 式 中 分 别 代入 z = Ps(y) 与 > = Ps(z) 
再 相 加 后 可 得 

llPs(z) - Ps(WN < (2 ~ y, Ps(z) — Ps(y)) 
又 由 Cauchy-Schwarz 不 等 式 有 
(2—y,Ps(z) — Ps(y)) < |z — yllllPs(z)— Ps(y)ll 


综 上 即 知 式 (2.11) 成 立 . [9 
考虑 由 向 量 ce R" (a 地 0) 与 实数 a e R 定义 的 超 平面 


H= {zeR"|(a,z) =a)} (2.12) 
空间 Rn 被 超 平面 五 分 割 为 两 个 子 集 

H+ = {ze Rr" |(a,2) > o} 

H-= {ze R"|(a,z) < o} 


这 两 个 集合 H+ 与 五 - 称 为 由 超 平面 五 定义 的 半空 间 (half space). 


当 集 合 5,T C R" 满足 Sc H+ 与 TC Hf 
五 -, 即 
(a,z)>a, zeES (2.13) 
(az)<a, zeT 
时 , 称 超 平面 五 分 离 集合 S 和 T, 并 称 甩 为 5 0 


与 的 分 离 超 平面 (separating hyperplane) (图 a 
2.5). 特别 地 , 当 开 = {z} 时 , 称 五 分 离 5 和 =. 2.5 ”两 个 集合 的 分 离 超 平面 


定理 2.8 ”给 定 非 空 目 集 5 C Rn 与 点 r 4 cl 5, 则 必 存 在 5 与 z 的 分 离 超 
平面 有 = {y € R"|(a,y) = a), 使 得 
(a,2)>a>(a,r), zeES (2.14) 


证 明 由 定理 2.6 知 , z 到 cl 5 上 的 投影 去 = Pus(z) 存在 且 唯 一 . 显然 ， 
五 关 z, 故 | 到 -zl? = 伍 一 z) 互 一 z) > 0. 而 由 定理 2.6 知 , 对 任意 xz e 5 总 有 
(z 一 丈 ,z 一 :) < 0 成 立 . 于 是 由 以 上 两 个 不 等 式 可 得 


(E22) > (二 一 2 五 ) > (五 一 Z,Z)， zES 


令 a= 五 -~z 及 a= 伍 -z, 可 即 得 式 (2.14). 显 
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式 (2.14) 意味 着 5 C H+, 而 z e int 及 ~-. 有 时 也 称 这 种 情形 为 超 平面 H 严 
格 分 离 5 与 z. 图 2.6 给 出 了 定理 2.8 的 证 明 中 得 到 的 超 平面 H 以 及 其 他 几 个 分 
离 超 平面 . 如 图 所 示 , 一 般 来 说 , 5 与 z 的 分 离 超 平面 存在 无 穷 多 个 . 

若 凸 集 S C R" 包含 于 由 超 平面 H 定义 的 半空 间 H+ 或 五 -, 而 点 eeclS 
在 互 上 , 则 称 瑟 为 5S 在 z 处 的 支撑 超 平面 (supporting hyperplane) (图 2.7). 依 
定义 , 5 在 z 处 的 支撑 超 平面 是 5 与 z 的 分 离 超 平面 的 特殊 情形 . 


H FH 


图 2.6 ”点 与 集合 的 分 离 超 平面 图 2.7 支撑 超 平面 


定理 2.9 ” 非 空 凸 集 83 SG Rn 在 其 边界 上 任意 点 处 均 存在 支撑 超 平面 , 即 若 
Zz € bd 5, 则 必 存 在 a €e R" (a 关 0) 及 a e KR, 使 得 


(a,2)>a=(a,7), zES (2.15) 


证 明 设 zebd 5, 则 必 存 在 点 列 {zx*}, 使 得 zk 4 cl 5S 且 zx 一 x， 由 定理 
2.8, 对 每 个 k, 均 存 在 ak e Rn (a* 关 0), 使 得 


(ak,z) > (at,z*), zeES (2.16) 


不 失 一 般 性 , 可 假设 jia*|| = 1, 于 是 点 列 {a*} 存在 收敛 于 某 个 满足 llall = 1 的 点 
a 的 子 列 , 在 式 (2.16) 中 对 该 子 列 取 极限 可 得 (a, z) > {a,z) (z < S), 进而 即 得 式 
(2.15). 国 

由 定理 2.8 与 定理 2.9 可 得 下 述 分 离 定理 (separation theorem): 

定理 2.10 ”对 任意 非 空 凸 集 S Cc Rn 及 任意 点 x g 5, 总 存在 3 与 z 的 分 离 
超 平 面 . 

证 明 ”由 假设 条 件 知 x 4 cl 5 与 zebd 5 之 一 成 立 . 车 前 者 成 立 , 则 应 用 定 
理 2.8; 若 后 者 成 立 , 则 应 用 定理 2.9, 于 是 可 得 5 与 z 的 分 离 超 平面 的 存在 性 ， 国 

定理 2.11 ”车 两 个 非 空 吓 集 5,T C Rn 的 交集 SnT 是 空 集 , 则 必 存 在 5 与 
了 的 分 离 超 平面 . 

证 明 令 Q=5-T={rzeER"|z=y 一 z, yE5, zeET}, 则 易 知 Q@ 为 非 空 
凸 集 . 此 外 , SnT = & 显然 等 价 于 0 4 Q, 从 而 由 定理 2.10, 存在 @ 与 0 的 分 离 超 
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平面 , 即 存在 ce R" (a 承 0), 使 得 
{a,z)>0, zeQ (2.17) 
由 集合 @ 的 定义 , 式 (2.17) 等 价 于 
(a,Yy)>(a,2), yeES,zeT 
此 即 意味 着 5 与 7 之 间 存 在 分 离 超 平面 . 国 


2.5 锥 与 极 锥 
满足 下 述 条 件 的 集合 C S R" 称 为 锥 (cone): 
ZECael0oo) 人 一 azeC (2.18) 


即 锥 C 是 包含 所 有 以 原点 为 始点 , 并 通过 C 中 一 点 的 射线 的 集合 . 依照 定义 , 非 
空 锥 通常 包含 原点 . 当 锥 是 凸 集 时 , 称 之 为 凸 锥 (convex cone); 当 锥 是 闭 集 时 , 称 
之 为 闭 锥 (closed cone); 当 锥 既是 闭 集 又 是 凸 集 时 , 则 称 之 为 闭 凸 锥 (closed convex 
cone). 

例 2.7 下 列 集合 Ci (i = 1,… ,4) 均 为 闭 凸 锥 , 其 中 0 zaie Rn (i= 
1,… ,m) (mm 为 任意 正 整数 ): 


™m 
O01={zeR"|z= a, Qi > 0, i=1,.…,m} 
i 
C2= {zeR"|(a',z) <0, im 
Ca={zeRr| 字 > 开 + + 到 x1 >0} 
C1= {2 ERs|zizs -B20, 71+zs >0} 


例 2.7 中 的 锥 Ci 是 由 向 量 a1,… ,am 的 所 有 非 负 线性 组 合 构成 的 集合 , 也 称 
该 锥 由 al,…… ,am 生成 (generate). 锥 C2 为 m 个 半空 间 再 ={reR" |(ai,z) <0} 
(i = 1,… ,m) 的 交集 , 也 即 与 向 量 al,… ,a™ 五 
都 保持 90° 以 上 夹 角 的 全 体 向 量 构 成 的 集合 . 这 
些 锥 都 是 凸 多 面 集 , 因此 , 称 为 凸 多 面 锥 (poly- 
hedral convex cone). 

集合 Cs 显然 是 锥 ， 并且 容易 证 明 它 是 凸 
锥 ( 留 作 习题 2.7)， 锥 Cs 常常 被 称 为 二 阶 锥 


(second-order cone) 或 者 Lorentz 锥 (Lorentz 上 
cone) (图 2.8). 2.8 一 阶 锥 (n= 3 的 情形 ) 


向 m 
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集合 Cs 显然 也 是 锥 . 为 了 说 明 它 是 凸 锥 , 考查 由 向 量 z = (z1, zx2,z3)7 的 分 量 
所 构成 的 对 称 和 矩阵 
X= | T1 IT2 | 
T2 Za 


设 该 矩阵 的 特征 值 分 别 为 X; 和 Xo, 则 由 Cs 的 定义 以 及 矩阵 的 特征 值 与 迹 、 特征 
值 与 行列 式 的 关系 可 知 下 述 关 系 式 成 立 : 


my 


ZE C4 < 
MAM 一 det X=rrz3 72>0 


| < 和 20 i=1,2 
注意 到 和 ; > 0 (i = 1,2) 是 矩阵 XX 为 半 正 定 的 充 要 条 件 , 而 向 量 z e R3 等 同 于 矩 
阵 处 € S2, 故 锥 Cs 也 可 表示 为 

G0.= {Xes:|x>-o} 
对 任意 对 称 矩 阵 藉 ,Y e S2, 显然 有 


XLO,Y>O,acel0,l]=(l-aX+tarY>~>O 


因此 , 锥 Cs 是 凸 锥 . 
上 述 方法 也 可 推广 到 更 高 维 的 情形 . 将 m 阶 对 称 矩 阵 
Tl1 TZT21 Tml 
T21 IT22 Tm2 
六 = . ES 
Tml Tm2 Tmm 


的 元 素 按 顺序 排列 而 成 的 向 量 2 = (zilzat…… zm 7T22,… ;zm2:… ;TZmm)T 记 
为 = vec(X) <s Rn", 其 中 n= mm(m 十 1)/2Q@. 不 难 证 明 将 矩阵 处 & Sm 等 同 于 向 
量 = = vec( 瑟 ) 而 定义 的 集合 


C={xXes"|x=oOl 
一 ZERnmmn+D/2|z = vec(X), OXes™"} 


是 凸 锥 . 该 凸 锥 称 为 半 正 定 矩 阵 锥 (cone of positive semidefinite matrices). 
对 任意 锥 C Cc R", 考虑 由 下 式 定 义 的 集合 C* C Rn: 


= {y eR"|(y,z) <0, ze c} (2.19) 
加 由 于 X 为 对 称 箱 阵 , 因此 ,有 半数 的 非 对 角 线 元 素 不 需要 考虑. 
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这 是 由 与 C 中 每 个 向 量 都 保持 90° 以 上 夹 
角 的 向 量 的 全 体 构成 的 集合 , 因此 , 显然 是 锥 (图 和 
2.9). 称 C* 为 C 的 极 锥 (polar cone)j@. 特别 地 ， 
车 C 是 线性 子 空间 , 则 C"* 恰 为 与 C 正 交 的 线性 


子 空 间 , 也 即 C* 与 C 的 正 交 补 空间 (orthogonal 加 

complement) CT 一 致 . < 
定理 2.12 ”对 任意 非 空 锥 C ES R", 其 极 Ce 

锥 C* 必 为 闭 止 锥 , 并 且 C* = (co C)*. 此 外 , 给 

定 两 个 锥 C,D EC R", 若 CCcD, 则 有 C*2D*. 图 2.9 极 锥 


证 明 ”容易 证 明 C* 为 闭 凸 锥 ,并 且 CCD 
蕴涵 C* 2 D*, 下 面 证 明 0* = (co 0)*. 显然 , C S co C, 故 由 本 定理 的 已 证 部 分 可 
得 C* 2 (co C)*. 为 了 说 明 反 包含 关系 C* C (co 0C)*, 只 需 证 明 对 任意 ye C0*, 当 
zw EcoC 时 总 有 (y,z) < 0 成 立 事实 上 , 若 z e co C, 则 由 定理 2.2 知 ， 存在 C 中 的 


点 zl,.… ,zk 以 及 满足 Da = 1 的 实数 a; > 0 (i= 1,… ,上 )， 使 得 = = 》 aiz'， 


i=1 这 1 


k 
从 而 有 (y,z) = 》 oily,z). 因此 , 当 ye Cr 时 ,由 人 ob <0(i=1,…,) 可 


得 (y,z) < 0. 2 四 
定理 2.13 ”对 任意 非 空 锥 CC R", 极 锥 C* 的 极 锥 C"* 与 C 的 闭 凸 包 cl co C 
一 致 . 特别 地 , 若 C 是 闭 凸 锥 , 则 C = C*. 
证 明 设 z eco C. 由 定理 2.12 有 C* = (co C)"， 因此 , 对 任意 yEC* 均 
有 (y,z) < 0, 这 就 意味 着 z < C"*, 故 有 co C C C**. 再 由 定理 2.12 知 , C"* 为 闭 
凸 集 , 于 是 cl co C C C…. 下 证 C" C cl co C. 为 此 , 只 需 证 明 z 9 cl co C 草 涵 
Zz 4 0** 即 可 , 设 zgclco C, 则 由 定理 2.8, 存在 aeRn (az0) 及 ae 了 BR, 满足 


(az)>a>(az)，zEcoC (2.20) 


进一步 , 可 断定 -a € C*. 事实 上 , 对 任意 x e C 与 > 0, 因 fz e C, 故 由 式 
(2.20) 可 得 
Bla,z)= (a,Bz2) > a (2.21) 
车 (a,z) < 0, 则 当 8 充分 大 时 , 式 (2.21) 必 不 成 立 , 因此 , 对 所 有 z e C 均 
有 (a,z) > 0, 也 即 -ae C*. 由 0 EC 及 (2.20) 知 0 > a > (a,z), 这 说 明 
(a,z2) > 0, 因此 , z 不 可 能 属于 C*, 故 =&cl co C 必 草 涵 6 mg C". 
由 于 当 C 为 闭 凸 锥 时 必 有 cl co C = C 成 立 , 定理 的 后 半 部 分 立即 可 得 .四 


@ 极 锥 也 称 为 对 偶 锥 (dual cone)， 另 外 ,也 有 人 将 对 偶 锥 定义 为 与 (2.19) 中 的 不 等 式 恰恰 相反 的 
集合 . 
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由 于 锥 一 般 均 为 无 界 集 , 因此 , 如 定理 2.3 后 面 所 述 , 锥 C 的 闭 凸 包 cl co C 与 
凸 闭 包 co cl C 未 必 一 致 . 
例 2.8 考虑 由 下 式 定 义 的 集合 C C Ra3: 


C= {ze Ra3 | zs = z3/(z? + 23)3, z2 > o} U {zeRslm =Z3 =0} 
由 定义 能 够 很 容易 地 证 明 该 集合 是 锥 . 虽然 该 锥 是 闭 集 , 但 并 不 是 凸 集 ， 经 计算 
coel C 与 cl co C 可 表示 如 下 : 


coclC=coC 
= {zeRs|s=zs=0}U {zeR|z, > zs >0,71 #0} 
U{z eR |z, > 7 >0,7=0} 
deoC= {zeRs|z, > zs >0} 


显然 有 co cl C C cl co C, 但 cl co CC co cl C 并 不 成 立 . 
定理 2.14 ”给 定 非 空 闭 凸 锥 C; C R" (i = 1,… ,m), 则 有 
(5 oj 二 个 Cy (2.22) 
(A oj =clco 他 cj (2.23) 
证 明 ”由 极 锥 的 定义 (2.19) 可 得 
(Ve) 一 {ysR"|twz) < 和 0 zecC UUCm} 
sl 
= 站 fwsarleaso zecl = Aa 
i=1 记 1 
即 式 (2.22) 成 立 . 在 式 (2.22) 中 , 以 C? 替换 Ci 并 注意 到 依 定理 2.13 可 得 Cy* = 
Ci, 于 是 有 > 
a- (Ve) 
i=l1 j=l 
在 上 式 两 边 同时 取 极 锥 , 并 再 次 利用 定理 2.13 即 得 式 (2.23). 
最 后 介绍 关于 凸 多 面 锥 及 其 极 锥 的 重要 定理 . 该 定理 本 质 上 与 著名 的 Farkas 


定理 (Farkas' theorem) 等 价 , 在 推导 非 线性 规划 问题 的 最 优 性 条 件 时 起 着 重要 的 
作用 ( 见 第 3 章 ). 


2.5 锥 与 极 锥 “23 . 


定理 2.15 ”考虑 由 向 量 al,… ,am e Rn 生成 的 闭 凸 多 面 锥 


m 
z= aiai ai > 0, bem) 


i=1 


c- 人 sm 


以 及 与 每 个 ai 都 保持 90" 以 上 夹 角 的 向 量 的 全 体 构成 的 闭 凸 多 面 锥 
K= {y eRr"|(ai,y) <0, i=1,... ,m} 
则 K=C*, 并 且 C=K*. 
证 明 “首先 证 明 K < C0*. 为 此 , 设 ye K, 则 对 任意 = = asat e C 均 有 
et 


{z,2) = 号 < 0, 因此 , ye C", 从 而 有 K S C*. 下 面 证 明 C* C K. 假设 
i=]1 
y EC*, 则 对 任意 a; > 0 (i= 1,… ,m) 均 有 


(Bees) = Dai(ai,y) <0 (2.24) 
1 一 1 ie1 

由 此 可 断定 (ai,y) < 0 (i = 1,… ,m), 也 即 
y e K.， 事实 上 , 若 存在 j, 使 得 (ai,y) > 0， 
则 可 取 Qj =1 及 ui=0(t 关 力 ,于 是 可 得 


>》 ai(ai,y) = (ai,y) > 0, 从 而 与 (2.24) 矛盾 . 
1 


综 上 即 有 C* cK. 图 2.10 定理 2.15 ( Farkas 定理 ) 
由 于 C 是 闭 凸 锥 , 则 由 定理 2.13 可 得 K* = 
C* 二 C0 (图 2.10). [| 
推论 2.1 ”考虑 如 下 由 向 量 a1,… ,a™m，b!,… ,tH e Rn 定义 的 两 个 闭 凸 多 
面 锥 : 


cs 


m i 
z= aiat+》 iD as > 0 i1 ,m, Bj ER j=1,.… 中 


i=1 j=1 


K={yeR"|(ai,y) <0, i=1,.*: ,Mm; (tI,y)=0, 5=1 ,1l} 
则 有 天 =C" 及 C= K" 成 立 . 特别 地 , 对 线性 子 空间 


{sem 


i 
z= Bb, BeR, i 


j=1 
M= {yeR"|(bi,y) =0, j= bl} 
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则 有 M = ZL 及 工 = ML 成 立 . 


2.6 ”函数 的 连续 性 与 可 微 性 


车 对 Rn 中 每 一 点 z 均 存 在 某 实数 f(z) 与 之 对 应 , 则 称 了 为 定义 在 R" 上 
的 实 值 函数 (real valued function), 记 为 f : Rn 一 R， 在 最 优化 理论 中 ,常常 
允许 +oo 或 -oo 作为 函数 值 , 从 而 使 得 问题 更 加 容易 处 理 ， 这样 的 函数 称 为 广 
义 实 值 函数 (extended real valued function)， 为 了 明确 函数 的 值 域 而 特别 记 之 为 
了 : Rn 一 (-co,+oeo] 或 了 : Rn 一 [一 co,+oo] 等 . 另外 , 也 常常 使 用 映射 (mapping) 
这 样 的 同义词 来 代替 函数 . 

车 对 任意 收敛 于 = 的 点 列 {zw*} C Rn 均 有 


f(z) > limsup f (2*) 


成 立 , 则 称 函 数 有 ; Rm 一 [00,+oo] 在 z 处 上 半 连 续 (upper semicontinuous); 反 
之 , 当 

f(r) < liminff(z) (2.25) 
成 立时 , 称 f 在 x 处 下 半 连 续 (lower semicontinuous). 若 f 在 zw 处 既 为 上 半 连 续 
又 为 下 半 连 续 , 则 称 f 在 = 处 连续 (continuous). 进 一步, 若 函 数 在 集合 S C Rn 
中 每 一 点 处 均 为 上 (下 ) 半 连 续 或 者 连续 , 则 称 该 函数 在 S$ 上 为 上 (下 ) 半 连 续 或 者 
连续 . 特别 地 , 当 5 = Rn 时 , 则 简称 函数 为 上 (下 ) 半 连 续 或 者 连续 (图 2.11). 


SR AT 


zz 人 
(a) 上 半 连 续 函 数 (b) 下 半 连 续 函数 
图 2.11 


以 m 个 实 值 函数 及 : Rn 一 R (i = 1 … ,m) 为 分 量 的 向 量 值 函 数 (vector 
valued function) 记 为 五: Rn 一 Rm, 即 下 (zx) = (有 (Zz),… ,Fm(z))T. 若 每 个 分 量 
函数 有 (i = 1 ……,m) 均 连 续 , 则 称 FF 连续 . 

给 定 函数 下 : Rn 一 R", 称 满足 下 式 的 向 量 xz 为 函数 下 的 不 动 点 (fixed 
point): 

z= F(x) 

下 面 的 定理 给 出 了 不 动 点 存在 的 一 个 充分 条 件 , 称 为 Brouwer 不 动 点 定理 

(Brouwer’s fixed point theorem). 由 于 其 证 明 已 经 超出 了 本 书 的 范围 , 故而 省 略 (可 


2.6 ”函数 的 连续 性 与 可 微 性 .25- 


参见 文献 [29]). 

定理 2.16 设 下 : R" 一 Rn 为 连续 向 量 值 函数 , 5 Cc Rn 为 非 空 紧 凸 集 . 若 
对 每 个 ze 5 均 有 F(z) < 5, 则 函数 FF 存在 不 动 点 . 

由 函数 f : Rn 一 [00, +oo] 及 实数 ce R 定义 的 集合 


S/(o) = {2 eR" |f(z) < oa} 


称 为 f 的 水 平 集 (level set). 

定理 2.17 函数 f : Rn 一 [00, 十 oo] 下 半 连 续 的 充 要 条 件 是 对 任意 ae R， 
水 平 集 Sj(a) 均 为 闭 集 0. 

证 明 设 f 下 半 连 续 . 对 任意 ae R, 欲 证 明 水 平 集 Sj(a) 为 闭 集 , 只 需 证 
明 当 zk 一 z, 并 且 zk e Sy(Q) (k = 1,2,…) 时 均 有 me Sr(a) 成 立 . 这 显然 由 
zk E Sy(a) 等 价 于 f(z*) < a 以 及 下 半 连 续 性 的 定义 (2.25) 可 得 . 

下 面 假设 对 每 个 a e R, Sy(a) 均 为 闭 集 . 对 任意 固定 的 x < R", 考虑 任意 
满足 zk 一 z 的 点 列 {2*}. 令 a = liminf f(z*), 若 a 有 限 , 则 对 任意 实数 = > 0， 
{z*} 必 存 在 满足 f(z*) < a+e, 即 zk e Sr(a+es) 的 子 列 {z%}. 由 设 Sy(a 十 e) 
是 闭 集 , 因此 , 由 zk# 一 z 知 zeSrla+s), 即 Jf(z)<a+s 成 立 . 由 se>0 的 任 
意 性 可 得 f(x) < a, 故 式 (2.25) 成 立 . 若 a = -oo, 则 不 难 证 明 f(z) = -oo， A 
式 (2.25) 也 成 立 . 综 上 即 知 , f 在 = 处 下 半 连 续 . 

定理 2.18 考虑 下 半 连 续 函 数 fi : R" 一 [-o00,+oo] (ie 了 7), 其 中 工 为 任意 
标 集 , 则 由 

f(z) =sup {fi(z) ieZ} 
定义 的 函数 f : Rn 一 [00, +oo] 也 下 半 连 续 . 
证 明 将 f 及 下 的 水 平 集 分 别 记 为 Sr(a) 和 Sj(a), 则 有 


S$/(o) = {2 eR"|fi(z) < a (lien)}= sa) 
iET 


利用 定理 2.17 以 及 闭 集 的 交集 仍 为 闭 集 这 一 事实 可 知 , 函数 / 是 下 半 连 续 的 。 国 
设 函 数 f : R" 一 [-o0,+oo] 在 re Rn 的 某 邻 域内 取 有 限 值 . 车 f 在 z 处 存 


在 偏 导数 
of pi ee) (0), 


ri t 一 :0 


(其 中 ei 表示 第 i 个 分 量 为 1， | 0 的 n 维 单位 向 量 ), 并 且 对 由 
T 


@@ 函数 上 半 连 续 的 充 要 条件 是 对 所 有 a e R, 按照 反 向 不 等 式 定义 的 水 平 集 {zw < R" | f(z) > a} 
均 为 闭 集 . 


i=1,.,n 
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定义 的 向 量 Vf(z) e Rn 总 有 
f(z+h)= f(z£)+ (Vf(z),h) +o(llhl), heR”" (2.26) 


则 称 f 在 z 处 可 微 (differentiable), 其 中 o : [0, +oo) 一 R 表示 满足 lim ot)/t = 
的 函数 . 向 量 Vf(z) 称 为 在 = 处 的 梯度 (gradient). 显然 , 若 了 在 z z 处 可 微 站 


f 在 = 处 连续 . 
车 在 点 z 处 可 微 的 函数 f 存在 二 阶 偏 导数 , 并 且 对 由 
Pflz) ~ f(g) 
O271 Or107n 
V2f(z) = : : 
f(z) ~ 2f(z) 
OrnOr1 Orn 
定义 的 n 阶 方 阵 V2f(z) e Rnxn 总 有 


f(z+h)= f(z)+ (Vf(2),h)+ 3(h, V2f(z)h) +o(lhl?), heR” 


则 称 f 在 = 处 二 阶 可 微 (twice differentiable), 并 称 V?f(z) 为 了 在 rz 处 的 Hesse 
矩阵 (Hessian matrix). 

若 Vf(z) 存在 且 关 于 z 连续 , 则 称 f 连续 可 微 (continuously differentiable). 
进一步 , 若 V?f(z) 存在 且 关 于 z 连续 , 则 称 f 为 二 阶 连续 可 微 (twice continuously 
differentiable), 此 时 V2 了 (mw) 必 为 对 称 和 矩阵. 

若 函 数 f 在 z 处 只 存在 偏 导数 , 则 未 必 具 有 式 (2.26) 所 描述 的 可 徽 性 . 如 下 
例 所 示 , 在 这 种 情况 下 , 其 实 连 f 在 z 处 的 连续 性 也 不 能 保证 . 

例 2.9 设 


1， ”其 他 
f(z) { 5 sin(1/z)， z 洗 
ee 
fs(®) = { 0, rz<0 


函数 户 : R? 一 R 虽然 在 = = 0 处 存在 偏 导数 , 但 是 它 既 不 可 微 也 不 连续 . 函数 
五 :RR 一 了 处 处 可 微 , 但 在 z = 0 处 不 是 连续 可 微 . 函数 fo :RR 一 RR 处 处 连续 可 
微 , 但 在 z = 0 处 不 是 二 阶 连 续 可 微 . 


2.6 ”函数 的 连续 性 与 可 微 性 “27. 


给 定 可 微 函数 了 : R" 一 及 及 向 量 z,de Rn (d 关 0), 定义 一 元 函数 h:R 一 RR 
” h(a) = f(z + ad) 
则 有 可 导 且 导数 可 表示 为 
kK'(a) = (Vf(z + ad), d) (2.27) 
进一步 , 若 f 二 阶 可 微 , 则 h 二 阶 可 导 且 二 阶 导 数 为 
1"(a) = (V2f(z + ad)d, d) 


对 以 m 个 实 值 函数 Ff; : Rn 一 R (i = 1,… ,m) 为 分 量 的 向 量 值 函数 下 : 
Rn 一 Rm, 定义 n xm 阶 和 矩阵 


VE(z)= [vRz) … VEFm(z) 


on (zr) OFmn (2) 
Or1 Ri Orl 
OF (zx) OFn (ZT) 
Erm rn 


称 之 为 函数 FF 在 x 处 的 Jacobi 矩阵 (Jacobian matrix)@. 

下 面 叙述 关于 函数 微分 的 三 个 基本 定理 . 由 于 普通 的 微 积分 教材 中 都 包含 这 
些 内容 , 故此 处 将 证 明 略 去 (可 参见 文献 Ortega and Rheinboldt (1970)). 

定理 2.19 (中 值 定理 (mean value theorem)) 设 函 数 1 : Rn 一 R 在 凸 集 
SC R" 上 可 微 , 则 对 任意 z,y < 5, 必 存 在 实数 re (0,1) 满足 


f(z)— f(y) = MYfrz+(L 一 TU 一 起 


定理 2.19 对 向 量 值 函数 三 : Rn 一 Rn 不 一 定 成 立 , 即 未 必 存 在 7 € (0,1), 使 
得 
F(z)— F(y)= VF(rs+(1—7)y) (2 —y) 


但 有 下 式 成 立 : 
F(z)— F(y)= A VF(rs + (1— 7)y) T(z 一 切 dr (2.28) 
o 


人 @@ 通常 将 mm x n 阶 和 矩阵 VFF(z2)T 称 为 Jacobi 拖 阵 ， 本 书 则 将 转 置 Jacobi 矩阵 VFF(z) 简称 为 
Jacobi 矩阵. 
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定理 2.20 (Taylor 定理 (Taylor's theorem)) 设 函 数 了 : Rn 一 R 在 凸 集 
5 C R" 上 二 阶 连续 可 微 , 则 对 任意 z,y € 5, 必 存 在 实数 re (0, 1) 满足 
f(z) = f(y) + (VF(Y), TZ —Y)+ 3(v°f(re +{(1—7)Y)(r ~ Y),r—Y) 
定理 2.21 ( 隐 和 函数 定理 (implicit function theorem)) 给 定 n 个 实 值 函 数 fi : 
Ran+p 二 RR (i=1,…,n) 及 点 五 ERn, 五 ERz. 设 
fi(z,U) = 0，1= 1 
并 且 天 在 点 (E, 喜 ) se Rn+p 的 菜 邻 域内 连续 可 微 . 若 了 = (及,… ,fn)T 关 于 z 的 
Jacobi 矩阵 
Vef(z,u)= [Yefi (zu … Vzjfn(z， uw)] 


Ofi(z,u) wh Ofn(z, Lu) 
Or1 Or1 
nt : : € Rr‘<n 
fc 昌 记 (zu) 
Orn Orn 


在 (x, 芯 ) 处 非 奇 异 , 则 在 点 去 的 某 邻 域 VC R? 内 必 存 在 连续 可 微 的 函数 $i; : U 一 
R (i = 1,… ,n), 使 得 
Fi = pi), fi(fi) pn) 4) =0 veU,i=1,,n 
并 且 
Vd(u) = —Vuf (Ou), WVef (Glu), u) !, veU 
其 中 g(u) (ti (wu), 和 ,pn(u))T. 
设 4 为 n 阶 方 阵 , B 为 mn xp 阶 和 矩阵 , 并 且 ze R", ue Rr?. 考虑 线性 方程 组 
AT+Bu=0 
车 4 为 非 奇异 矩阵 , 则 该 方程 组 关于 z 可 解 , 并 且 z 可 以 显 式 地 表示 为 u 的 函数 
Zz 二 一 A-1Bu. 定理 2.21 即 为 将 该 结论 推广 到 非 线性 方程 组 的 情形 . 
考查 以 连续 可 微 函数 aij : R 一 R (i,j = 1 … ,n) 作为 第 (7) 个 元 素 的 单 
变量 矩阵 值 函数 4 : R 一 Rnxm. 函数 4 : R 一 R"™" 的 微分 定义 为 A'(t) = 
[eg 的 ] e R"x". 车 矩阵 A(t) 存在 逆 矩 阵 A(t)-!, 则 逆 矩 阵 的 微分 可 表示 为 
(4 人 -0 = —A(t) 1 A(t At) (2.29) 
事实 上 , 在 恒等式 A(t)A(t)-! = 了 两边 同时 取 微分 后 可 得 
A(t)(A(t) TY) + A(t A =O0 
由 此 即 得 式 (2.29). 


27 上 函数 . 29 . 


下 面 考虑 迹 与 行列 式 的 微分 . 首先 , 对 任意 矩阵 Be R"xn 总 有 
(tr [AGOB]) = tr [A'(t)B] (2.30) 
至 于 行列 式 的 微分 , 当 n 二 2 时 , 易 知 有 下 式 成 立 : 
aa 人 和 a12(t) aal(t ai2(t) 
A | hilt) oo2lt) | | am(t) oo | 
利用 数学 归纳 法 可 推广 到 n > 3 的 情形 , 妈 


(det A(t)) = 3 det [A(t)| A'(t)|i] (2.31) 
i=} 


其 中 4'(t) 表示 A4(t) 的 第 i 列 , 而 [4()|4'(t)i] 则 是 将 矩阵 4(t) 的 第 i 列 用 
向 量 A'(t) 趾 替换 后 所 得 的 矩阵 ( 见 2.1 节 ). 


27 凸 函数 
给 定 函 数 /: Rn 一 [~co, +ool, 称 Rn+i 的 子 集 
graph f = {(2,8)T eR"+|8 = f(z)), 
为 7 的 图 像 (graph), 而 称 位 于 f 的 图 像 上 方 的 点 的 全 体 构成 的 集合 
epi f = {(2,8)" ER"+! | > f(2)} 
为 了 的 上 图 (epigraph). 若 上 图 epi 7 为 凸 集 , 则 称 f 为 凸 函 数 (convex function). 


此 外 , 称 集合 | 
dom f= {z eR"|f(z) < +o0} 


为 f 的 有 效 域 (effective domain) {图 2.12). 显 

然 , 凸 函数 的 有 效 域 是 凸 集 . 8 
当 凸 函数 f : R" 一 [~-o0, +oo] 满足 GD 对 所 

有 均 有 f(z) > -coi @ 存在 = 使 得 f(z) < 

+oo 时 , 即 当 外 : Rn 一 (-co,+ool 且 dom 大 关 名 

时 , 称 为 正常 凸 函数 (proper convex function). 

正常 凸 函数 也 可 看 成 是 上 图 非 空 , 并 且 不 包含 任 

何 垂直 直线 的 凸 函数 . 特别 地 , 在 每 个 zsERr 0 

处 均 取 有 限 值 的 凸 函数 六 : R" 一 R. 是 正常 凸 

函数 , 非 正 常 的 止 函 数 则 只 限 f(z) = +oo, 或 者 图 212 上 图 与 有 效 域 

存在 某 点 = 使 得 f(z) = -co 这 两 种 情况 . 
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给 定 函数 让 : Rn 一 [一 oo, +eo], 若 一 了: Rn 一 [-- oo, +oo] 为 凸 函数 , 则 称 f 为 
凹 函数 (concave function)， 由 于 有 关 凸 函数 的 定义 及 定理 等 只 要 将 < 与 >, +oo 
与 -00 以 及 sup 与 inf 等 作 适 当 调换 即 可 推广 到 凹 函数 的 情形 , 因此 , 以 下 主要 针 
对 凸 函数 进行 讨论 . 另外 , 为 方便 起 见 , 特别 定义 0. co = 0. 

式 (2.32) 表明 的 图 像 中 任意 两 点 的 连 线 属于 f 的 上 图 (图 2.13), 它 也 常常 
被 用 来 定义 凸 函数 . 


7 上 
QAfD+ofW 
1 ) -i 


f(0 -ostaDh 


0 D a y 
图 2.13 式 (2.32) 


定理 2.22 ”函数 f : Rn 一 (-co, +oeo] 为 凸 函 数 的 充 要 条 件 是 
f({(1— a)z+ay) < (1— a)f(z)+af(y) (2.32) 


对 任意 z,y e R" 及 a e [0,1] 均 成 立 . 
证 明 ”依照 定义 , f 为 凸 函数 当 且 仅 当 对 任意 (2, 8)T e epi f, (y,7)T € epif 
以 及 ae [0,1], 总 有 


z y\_/(l-arz+ay . 
(= 时 te 人 1 区 (ry SE 
即 对 所 有 满足 f(z) < 6 与 f(y)< 7 的 xz,yeR",68,yYER 以 及 ae[0,1], 总 有 不 
等 式 
f((1~az+ay) < (1-aB+ay 
成 立 , 这 与 式 (2.32) 等 价 . 
下 面 的 定理 是 定理 2.22 的 推广 , 其 中 的 式 (2.33) 称 为 Jensen 不 等 式 (Jensen's 
inequality), 证 明 略 ( 留 作 习题 2.9). 
定理 2.23 ”函数 f : Rn 一 (-co,+oo] 为 凸 函数 的 充 要 条 件 是 对 任意 自然 数 
mi 任意 向 量 z1,… ,zm e Rn 以 及 任意 满足 》 ai = 1 的 数 ui > 0 (= 1 ,mh)， 
均 成 立 i=l1 


f (区 a <y aaflon) (2.33) 
i=1 


iT 
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下 面 定义 两 种 特殊 的 凸 函 数 类 ， 设 函数 f : Rn 一 (一 oo, +oo] 为 正常 凸 函数 . 
车 当 z,y edom f, ae (0,1) 且 z 关 3 时 , 总 有 不 等 式 


f((1— oa)s +ay) < (1—o)f(z)+ af(y) (2.34) 


成 立 , 则 称 /为 严格 凸 函 数 (strictly convex function). 进一步 , 车 存在 常数 o > 0， 
使 得 不 等 式 


f((1 -a)s+tay) < (of(e) taf(y) -joo(l -oe -yl (2.35) 


对 任意 z,y es dom 了 及 ae [0,1] 均 成 立 , 则 称 f 为 (系数 为 o) 的 强 凸 函数 
(strongly convex function) 或 者 一 致 凸 函 数 (uniformly convex function). 显然 , 强 凸 
函数 必 为 严格 凸 函数 , 而 严格 凸 函数 必 为 凸 函 数 . 

定理 2.24 ”正常 凸 函 数 f : Rn 一 (一 00, +oo] 为 系数 为 vc > 0 的 强 凸 函数 的 
充 要 条 件 是 由 


fe) = yt) -iclzp (2.36) 


定义 的 函数 地: Rn 一 (-co, 十 oo] 为 正常 凸 函数 . 
证 明 ”由 于 对 任意 x,y e Rm 及 ae [0,1], 均 有 


HI- astay)=f(1 -0)s+oy) -300 oe+ayl 
= (1— f(s) + af(y) - [~ o)f(s) + af(y) 
-3 — ole —yP -f(z+ay)) 


成 立 , 由 定理 2.22 及 强 凸 函数 的 定义 (2.35) 即 得 结论 . 国 

判断 给 定 的 函数 是 否 为 是 函数 一 般 并 非 易 事 ， 下 面 来 讨论 函数 满足 什么 样 的 
条 件 才 是 凸 函 数 . 

车 函数 h: Rm 一 (一 00, +co] 对 任意 满足 as < z! (i 二 1,… ,m) 的 zz e R™ 
均 成 立 h(z) < h(z), 则 称 之 为 单调 非 减 (nondecreasing) 函数 . 

定理 2.25 设 gi:R" 一 R (i=1,…,m) 为 由 函数 ,而 hh:Rm 一 (--00, 十 oc] 
为 单调 非 减 的 凸 函数 , 则 由 


f(z) = hgi(z)， ,gm(Z)) 


定义 的 函数 f : Rn 一 (一 00, +oco] 为 凸 函数 . 
证 明 ”定义 向 量 值 函数 g : R" 一 Rm 为 g(z) = (gi(z),… ,gm(z))T, 则 有 
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f(z) = h(g(z)). 由 假设 条 件 及 式 (2.32) 知 , 对 任意 z,y e Rr 与 we [0,1], 均 有 


f((1 — a)z+ay) = h(g((l — a)r + ay)) 
< h((1 — a)g(z) + ag(y)) 
< (1 — a)h(g(2)) + ah(g(y)) 
= (1— a)f(z)+af(y) 
故 7 为 凸 函 数 . 国 
由 于 下 面 两 个 定理 的 证 明 比 较 简单 , 故此 处 省 略 . 
定理 2.26 ”车 fi : Rn 一 (-oo,+eol (i = 1 ,m) 均 为 凸 函数 ， 则 对 任意 
ai >0(=1……,m), 由 
f(z) = al 万 (z) 十 … 十 amjm(Z) 
定义 的 函数 f : Rn 一 (一 00, 十 oo] 也 为 凸 函数 ， 
定理 2.27 设 工 为 任意 非 空 指标 集 , 而 f; : Rn 一 [一 oo,+eo] (ie 也 均 为 是 
函数 , 则 由 
f(z) = sup {fi(z) [i eZ} 
定义 的 函数 f : Rn 一 [-co, +oo] 为 凸 函数 . 进一步 , 若 工 为 有 限 指标 集 , 每 个 下 
均 为 正常 凸 函数 , 并 且 0 dom fi 关 儿 , 则 了 为 正常 凸 函数 . 


定理 2.27 的 前 一 绪论 对 无 穷 指 标 集 工 也 成 立 , 但 后 一 结论 则 未 必 . 例如 , 考 
虑 定义 在 R 上 的 函数 f(z) = z +i (i = 1,2,…), 车 定义 f(z) = sup{fi(z)|i = 
1,2,…}, 则 有 f(z) = 十 oo, 因此 , f 不 是 正常 凸 函数 . 

例 2.10 ”下面 的 函数 均 为 正常 凸 函数 , 其 中 户 , fo, fa 均 为 严格 凸 函数 , 而 当 
Dp=2 时 的 万 以 及 当 4>O 时 的 f6 均 为 强 凸 函数 : 

(1) fi(z) = (1/p)lzl? (z € R), 其 中 pe (1,+o00); 

(2) fo(z) = er (ze 了 R), 其 中 aeR 且 az#0; 

一 Inz，z>0， 

(3) fs(z) = et 

(4) fa(z) = (a, 2) +a (zeRn), 其 中 aeRnaeRi 

(5) fs(z) = |z| (z € R"); 

(6) fs(z) = 3(2, Az) +(b,z) (z ER"), 其 中 O<Aes",beRn. 

下 面 讨论 凸 函数 的 梯度 . 首先 考虑 一 元 凸 函 数 . 

定理 2.28 ”给 定 正常 凸 函 数 f : Rn 一 (一 00, 十 oo], 点 ze dom f 以 及 向 量 
de R", 则 由 

h(t) = [f(z +td) — f(z)]/t 
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定义 的 函数 h : (0,+co) 一 (一 00, 十 oc] 为 单调 非 减 函数 . 进一步 , 若 函数 了 在 z 处 
可 微 , 则 有 lm h(t) = (Vf(2),d)o. 
证 明 ”显然 , 对 任意 上 > s > 0, 总 有 
hg -As)= [f(e +ta) f(z)] -3[/(2+sd) — /C2)] 
= FSf(e+td)+ (1- 7)f(2) -fle + sd) >0 
其 中 最 后 的 不 等 式 由 0 < s/t < 1, z+ sd= (s/t)(z 十 td) 十 (1 一 s/t)z 及 定理 2.22 
可 得 , 故 h 为 单调 非 减 函数 . 定理 的 后 一 结论 由 导数 的 定义 与 式 (2.27) 即 得 . 国 
如 下 面 的 定理 所 示 , 可 微 凸 函数 可 以 用 梯度 来 刻画 其 特征 . 
定理 2.29 ” 设 函 数 f : Rn 一 (-oo,+co] 的 有 效 域 dom j 为 开 凸 集 ， 若 
f 在 dom f 内 可 微 , 则 f 为 (严格 ) 凸 函 数 的 充 要 条 件 是 对 任意 两 个 不 同 的 点 
ZT,y E dom f, 均 有 下 式 成 立 : 
f(y) — f(z) > (>)(vf(z)y — 7) (2.37) 
证 明 ”首先 证 明 必要 性 . 设 f 为 凸 函数 , 则 由 定理 2.22 知 , 对 任意 a e (0, 1)， 
均 有 
f(y) — f(z) 2 [f(z +aly — 2)) — f(z)]/a (2.38) 
由 于 式 (2.38) 右 侧 收 敛 于 (Vf(z),y 一 z), 因此 , 令 a 一 0 即 得 式 (2.37). 当 f 为 严 
格 凸 函数 时 , 显然 , 式 (2.38) 中 的 严格 不 等 号 成 立 . 再 由 定理 2.28 知 , 对 任意 a > 0， 
式 (2.38) 的 右 侧 均 大 于 或 者 等 于 (Vf(z),y - z), 于 是 可 得 式 (2.37). 
下 面 假设 (2.37) 成 立 . 任 取 mrl,mz2 e dom 了 及 ae(0,1). 令 zz=(1-a)zli+am2 
及 2 = zl 可 得 
flz) — f(2) > (>)(Yf(z),zl — 2) 
再 令 z= (1 一 Qa)z1 十 az? 及 y= z? 可 得 


jz ) — f(z) > (>) (Vf(z2), 2? ~ 2) 
第 一 式 乘 以 1 一 a, 第 二 式 乘 以 a, 然后 相 加 即 得 


Qo)f(z) +af(z’) — f(z) > (>) (Vi(z), (1 — a)z! +ar? — 2)=0 


(1 ~ oa)f(z1) +af(z’) > (>)f((1— a)z! + ar’) 
@t 0 表示 t>0, 并 且 t 一 0. 
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从 而 由 定理 2.22 知 , f 为 (严格 ) 凸 函数 ， 国 
式 (2.37) 表明 超 平面 H = {(y, oa) 人 e Rn"+lla= f(z) 十 (Vf(z),y 一 z)} 即 为 
上 图 epi f 在 点 (z, f(z))T e Rn"+l 处 的 支撑 超 平面 (图 2.14). 


0 
f(D+(vD, yo) ee rt 
jz) 上 上 : ; 超 平面 及 
;( 梯 度 w/(a) 
0 人 
图 2.14 凸 函 数 的 梯度 ( 式 (2.37)) 
如 下 面 的 定理 所 示 , 函数 的 凸 性 也 可 以 用 Hesse 矩阵 来 刻画 . 
定理 2.30” 设 函数 f : R" 一 (一 00, +eo] 的 有 效 域 dom f 为 开 凸 集 . 若 f 在 
dom f 内 二 阶 连续 可 微 , 则 f 为 凸 函数 的 充 要 条 件 是 对 任意 ze dom f, Hesse 和 拢 
阵 V2?f(z) 均 为 半 正 定 . 
证 明 ”首先 证 明 充 分 性 . 任 取 z,y e dom f, 则 由 Taylor 定理 (定理 2.20), 存 
在 re (0,1), 使 得 


j 人 -yla)= (Vf(2) yo)+3(V f(s +7(y a)(y 2),y -oe) (2.39) 
注意 到 z +r(y - z) e dom f, 故 由 假设 条 件 有 
(V2f(z +7(y -2)(y -2),y -7) >0 
从 而 由 式 (2.39) 得 
f(y) -la) 2 (Vf(2),y -2) (2.40) 


再 由 定理 2.29 即 知 , f 为 凸 函数 . 

下 面 利用 反 证 法 证 明 必要 性 . 假设 存在 x e dom f, 使 得 V?f(z) 不 是 半 正 定 
矩阵 , 也 即 存在 非 零 向 量 d 满足 (V?f(z)d,d) < 0. 因 dom f 为 开 凸 集 且 V?f 连 
续 , 故 可 选取 充分 小 的 正 数 8, 使 得 下 式 对 任意 re (0, 1) 均 成 立 : 


(V2f(z2+7(y 一 z)) 一 zy 一 z) <0 


其 中 y= z+Bd. 将 上 式 代 入 式 (2.39) 可 知 , 式 (2.40) 不 成 立 , 进而 由 定理 2.29 知 ， 
f 不 是 凸 函数 , 矛盾 . 四 
下 面 给 出 可 以 用 Hesse 矩阵 的 半 正 定性 来 判定 凸 性 的 函数 的 例子 . 
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例 2.11 利用 mm 阶 对 称 和 矩阵 Ao, A1,… ,An 定义 矩阵 值 函数 A : Rn 一 Sm 
为 
4(z) = 4o +z141 十 … 十 Zn4n 


并 进一步 定义 广义 实 值 函数 f : Rn 一 (一 00, 十 oo] 如 下 : 
/四 = | -in det 4(z)，4(z) > O 
十 oo， 4(z)yYO 


显然 , 当 4(z) > O 时 , 函数 值 f(x) 为 有 限 数 , 并 且 当 点 z 向 dom f = {z EE 
R"|A(z) > O} 的 边界 靠近 时 , f(z) 一 +oo. 
当 zw € dom 了 时 , Vf(z) 的 第 7 个 分 量 可 计算 如 下 : 
Of(z) _ 1 Odet 4(z) 
Br; det A(z) Oz; 


1 2 
= -er ACE) 艺员 [A(z)|AW|i] 
= -tr [A(z)- 1 及] 


其 中 第 一 个 等 式 依据 复合 函数 的 导数 公式 , 第 二 个 等 式 依据 式 (2.31) 以 及 84(z)/ 
62z; = 4j, 而 最 后 的 等 式 则 依据 引 理 2.1. 于 是 矩阵 V2f(z) 的 第 (i,j) 个 元 素 可 计 
算 如 下 : 


FIZ) _ Otr[A(z)-!A] 
OTi07; I Dri 
=tr[4(z)-14i4(z)-14j] 
=tr{(A(z) 3 AiA(z) 3)(A(z)-3 A;A(z)- 1) 
其 中 第 二 个 等 式 依据 式 (2.29), (2.30) 及 8A(z)/8z; = Ai, 而 最 后 的 等 式 则 是 因为 


对 任意 B,C, 总 有 trBC = trC 成 立 . 令 Dilz) = 4(z)-i4i4(z)- 二 则 对 任 
意 ye Rn", 均 有 
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2 
由 于 (2 为 半 正 定 矩阵 , 该 矩阵 的 迹 非 负 , 因此 ，Hesse 矩阵 V?f(z) 
二 1 

半 正 定 , 从 而 由 定理 2.30 知 , f 为 凸 函数 . 

定理 2.31 ” 设 函 数 f : Rn 一 (co, 十 oo] 的 有 效 域 dom /为 开 凸 集 . 若 f 在 
dom f 内 二 阶 连续 可 微 , 则 f 为 严格 同 函 数 的 充分 条 件 是 对 任意 ze dom f, Hesse 
矩阵 V?f(z) 均 为 正定 . 

证 明 ”根据 定理 2.29 并 对 定理 2.30 的 证 明 中 的 前 半 部 分 稍 加 修正 , 即 不 难 证 
明 该 结论 . 国 

严格 凸 函 数 的 Hesse 矩阵 未 必 为 正定 矩阵 . 例如 , 由 


f(z) = 17 +2 


定义 的 函数 f : R? 一 R 为 严格 凸 函数 , 但 f 在 满足 rz = 0 的 点 z 处 的 Hesse 拢 
阵 都 不 是 正定 矩阵 . 

定理 2.32” 设 函数 f : Rn 一 (一 o0, 二 oo] 的 有 效 域 dom f 为 开 凸 集 . 车 f 在 
dom 了 内 二 阶 连续 可 微 , 则 f 为 以 o > 0 为 系数 的 强 凸 函数 的 充 要 条 件 是 对 任意 
Zz € dom f, 矩阵 V?f(z) - cr7 均 为 半 正 定 . 

证 明 ”考虑 由 式 (2.36) 定义 的 函数 有 : Rn 一 (-oo, 十 oo]. 利用 定理 2.24 及 定 
理 2.30 不 难 证 明 该 结论 . 图 

定理 2.32 中 的 条 件 相当 于 对 任意 zx € dom f, 总 有 


(y, V2f(z)y) > ly, yeR" 


即 Hesse 矩阵 V?f(z) 的 最 小 特征 值 不 小 于 o > 0. 

最 后 介绍 关于 凸 函数 的 连续 性 的 重要 结果 . 

定理 2.33 ” 设 f:R" 一 (-co, +oo] 为 满足 int dom f 关 5 的 正常 凸 函数 , 则 
了 在 int dom f 内 连续 . 

证 明 任 取 z eint dom f, 则 存在 n 维 单纯 形 S C int dom f, 使 得 z e int 5. 
记 3 的 项 点 为 DO, wl ,Zn 并 令 max{f (2), f(z1),… ,f(z2")}. 由 于 每 个 
YE 5 均 可 表示 为 y = Daiz', 其 中 p> =1 且 a; 0(i=0,1,…,n), 从 而 由 


i=0 i=0 
定理 2.23 可 得 
f(y) < aof (2°) taf(zl) + tanf(2") Sp yes (2.41) 


-注意 到 z € int 5, 故 可 选取 充分 小 的 > 0, 使 得 B(z,r) C 5. 对 任意 € (0,1), 选 
取 z, 使 其 满足 |lz 一 zl < er, 并 置 = 一 +(z 一 z)/es, 于 是 有 zz 一 (1 一 ec)z 二 euw. 
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因 lo - zll <7, 故 we 5, 从 而 由 式 (2.41) 可 得 
f(z) < (1—e)f(z)+ef(w) < (1—e)f(z)+ep 
该 不 等 式 进一步 可 改写 为 
f(z)— f(z) < e(p — f(z)) 
另 一 方面 , 注意 到 z = [e/(1+e)](2z 一 ww)++/(1+e)]z. 因为 (2z 一 w) 一 zl| = 
lz 一 wll <7, 故 有 2z 一 we 3, 于 是 由 式 eh 得 
jj) < Tesf(20 w+ Tref() < Teeh+ Tref(z) 
并 进一步 可 得 
f(z) ~ f(z) < e(py ~ f(z)) 
综 上 可 知 , 当 lz 一 zl < er 时 , 必 有 


f(z) — f(z)| < e(p ~ f(z)) 


成 立 . 由 ee (0,1) 的 任意 性 知 , f 在 z 处 连续 . 再 由 z € int dom 了 的 任意 性 知 ， 
在 int dom f 内 连续 . 

推论 2.2 恒 取 有 限 值 的 凸 函 数 f : R" 一 R 处 处 连续 . 

由 定理 2.33, 凸 函数 f 的 间断 点 (如 果 存 在 ) 必然 属于 bd dom f. 虽然 定理 
2.33 中 假设 int dom f 了 人 但 当 int dom f = & 时 , 利用 与 定理 2.33 类 似 的 方 
法 可 以 证 明 了 在 dom f 的 仿 射 包 aft dom f 上 的 限制 函数 在 dom f 的 相对 内 部 
ri dom j 内 处 处 连续 . 


2.8 共 斩 函数 


下 半 和 连续 的 正常 凸 函数 f : Rn 一 (一 00, +oo|] 称 为 闭 正 常 凸 函数 (closed proper 
convex function). 如 2.7 节 最 后 所 述 , 下 半 连 续 性 只 是 在 ri dom fF 的 边界 上 才 有 可 
能 出 现 问 题 . 对 闭 正常 凸 函数 有 下 述 两 个 定理 成 立 , 由 于 其 证 明 比 较 简单 , 故此 处 
省 略 . 

定理 2.34 设 户 : Rn 一 (-o0,+o0] (i = 1,…,m) 均 为 闭 正 常 凸 函数 .车 
用 dom fz 2, 则 对 任意 ai > 0 (i == 1,… ,m), 由 
i=l1 


f(z) we Qifi(z) 上 = amjm(z) 
定义 的 函数 f : Rn 一 (一 o0, +co] 也 是 闭 正常 凸 函数 ， 
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定理 2.35 ” 设 工 为 任意 非 空 指标 集 , fi : Rn 一 (-co,+eo] (ie IT) 均 为 闭 正 
常 凸 函数 . 定义 函数 有 : Rn 一 (一 00, +oo] 为 


je) =sup {fi(z) |ieT} 


车 存在 z 满足 f(z) < +eo, 则 f 为 闭 正 常 凸 函 数 . 

定理 2.35 中 最 后 的 条 件 不 可 或 缺 . 例如 , 对 给 定 的 正常 凸 函数 列 { 户 , 户 ,… 
车 在 每 个 点 = 处 均 有 lim 天 (Z) = +eo, 则 由 f = sup 记 定义 的 函数 f 显然 不 是 正 
常 凸 函数 . 

给 定 正 常 凸 函数 f : Rn 一 (一 00, +oc], 由 


f°(é) =sup {(2,€) — f(z)|z eR"} (2.42) 


定义 的 函数 f* : Rn 一 [00, 十 oo] 称 为 f 的 共 二 函 数 (conjugate function). 

考虑 图 2.15 所 示 的 一 元 凸 函数 有 : R 一 (-o0,+oo]. 通过 考查 斜率 为 且 过 
原点 的 一 元 函数 cz 可 知 , f(z) 一 zx 在 点 元 处 达到 最 小 , 并 且 最 小 值 等 于 了 在 元 处 
的 切线 在 纵 轴 上 的 截 距 ， 由 式 (2.42) 知 一/*(#) = inf{f(z) - 6z}, 因此 , 上 面 提 到 
的 截 距 正 是 一 J*(é), 所 以 从 几何 意义 上 讲 , 共 斩 函 数 f* 就 是 由 斜率 为 & 的 f 的 切 
线 在 纵 轴 上 的 截 距 的 负 值 所 定义 的 函数 . 


图 2.15 ” 共 思 函 数 
下 面 讨论 共 辆 函数 的 性 质 . 给 定 某 个 向 量 &€ Rn 及 常数 8 e R, 函数 


hz) = (zz,6)+B 


称 为 仿 射 函数 (affine function). 显然 , 每 个 仿 射 函数 均 为 闭 正 常 凸 函 数 . 

定理 2.36 ”正常 凸 函 数 f : R" 一 (-co, +col] 的 共 思 函 数 广 必 为 闭 正 常 凸 
函数 ， 
证 明 ”首先 注意 : f* 的 定义 (2.42) 中 的 上 确 界 sup 只 需 z 取 遍 有 效 域 dom f 
即 可 . 对 任意 固定 的 点 z € dom /, (z,é€) 一 f(z) 是 关于 & 的 仿 射 函 数 , 因此 , 也 是 
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闭 正 常 凸 函数 . 于 是 由 式 (2.42) 及 定理 2.35, 欲 证 明 f* 是 闭 正常 凸 函 数 , 只 需 证 
明 存在 点 &, 使 得 f*(&) < +oo. 

任 取 x? es dom f, 则 对 每 个 满足 ao < f(x?) 的 实数 ao, 点 (z0,ao)T e Rnr+l 显 
然 并 不 属于 cl epi f. 由 于 epi f 是 凸 集 , 则 由 定理 2.8, 存在 超 平面 H = {(z,a)T Ee 
Rn"+ll(z,m)+a8=7} (其 中 (0.07 关 (9)Ts Rn"+l7ER), 使 得 

(ZN)+aB > TY > (n+aod, (za)T Eepif (2.43) 
于 是 由 (zo, f(zo))T e epi f 可 得 
{20,n) + f(z)B > 7 > (2,n)+aod 
即 f(z0)8 > ao6. 由 于 f(z29) > ao, 所 以 有 有 > 0. 令 & = 一 n/B,5 = 一 7/B, 则 由 
式 (2.43), 对 任意 (z,a)T e epi f, 总 成 立 (Zz,é) 一 a < 5, 从 而 有 
f°(é) = sup{(z,é€) — f(z)|z € R"} 
=sup{{(2,€) ~a|(z,a)T Eepif} < 6 
故 f° 为 正常 凸 函数 ， 站 

由 定理 2.36 的 证 明 可 知 , 若 /为 正常 凸 函数 , 则 必 存 在 仿 射 函数 h: Rn 一 R， 
使 得 对 任意 z & R" 均 有 f(z) > h(z). 这 等 价 于 在 R"+! 中 存在 非 垂直 的 超 平面 
五 = {f(z,alT e Rnr+l|(z,m) +ag = 计 , 使 得 半空 间 H+ 包含 epi f. 

定理 2.37 “” 若 正常 凸 函数 fj : Rn 一 (~-co, +eco] 为 强 凸 函数 , 则 有 dom f* = 
Rn. 

证 明 ”由 定理 2.24, f 可 以 表示 为 


flz) = Fla)+ aclzlp，zeRn 


其 中 c > 0, 并 且 f: Rn 一 (-oo, 十 oo] 为 正常 凸 函 数 . 如 前 所 述 , 存在 仿 射 函数 h 
满足 f(z) > h(z) (ze Rn), 于 是 有 


je) > Ma)+ 3olal?, 2 eR" 
从 而 由 共 元 函数 的 定义 得 
f°(é) < sup { (2,0) —h(z) — ollzll |ze mr") 


显然 , 上 述 不 等 式 的 右 侧 对 任意 上 均 为 有 限 数 . 
定理 2.36 已 经 证 明了 正常 凸 函 数 /的 共 罗 函 数 f* 是 闭 正常 凸 函数 ， 二 本 
进一步 定义 f* 的 共 思 函 数 f** : R 一 (一 co, +eoc] 如下: 


f(z) =sup{(2,€) -1°(€) |é e R"} 
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称 f** 为 f 的 双重 共 思 函 数 (biconjugate function). f** 也 是 闭 正 常 凸 函数 . 如 下 
所 示 , 双重 共 轿 函数 f* 与 f 有 着 密切 的 关系 . 

对 正常 凸 函 数 了 : Rn 一 (-oo,+eol, 满足 epi = cl epi 了 的 函数 9 : Rn 一 
(一 00, 十 oo] 称 为 f 的 闭 包 (closure), 记 为 cl f, 即 有 

epicl f=clepif (2.44) 

闭 包 cl f 可 以 看 成 是 处 处 满足 g(z) < f(z) 的 函数 9 : Rm 一 (一 00, +oo] 当中 最 大 
的 闭 正常 凸 函数 . 

定理 2.38 ”正常 凸 函数  : R" 一 (一 00, 十 oo] 的 闭 包 cl /也 是 闭 正 常 凸 函数 ， 
并 且 对 任意 z e ri dom j 均 有 f(z) = cl f(z) 成 立 . 进一步 , 若 记 L[f] 为 处 处 满足 
f(z) > hz) 的 仿 射 函数 h : Rn" 一 R 的 全 体 构 成 的 集合 , 则 有 下 式 成 立 (图 2.16): 


cl f(z) = sup {n(x) |he cl} (2.45) 


图 2.16 同 函 数 的 闭 包 (定理 2.38) 


证 明 ”定理 的 前 半 部 分 由 本 节 开 头 的 内 容 即 得 . 为 了 证 明定 理 的 后 半 部 分 , 记 

式 {2.45) 右 侧 的 函数 为 h, 欲 证 明 epi 户 = epi cl f. 首先 , 由 CI1] 的 定义 , 对 任意 

六 EC 月 , 均 有 epi f C epih 成 立 . 注意 到 epi hh = Nn > hh 故 有 epi f C epi hh. 
heLlf) 


又 因为 epi hh 是 闭 集 , 于 是 可 得 epi cl f = cl epi f C epi 

下 面 利用 反 证 法 来 证 明 反 包含 关系 epi cl f = cl epi f 2 epi hh， 假 设 存在 
伍 ,GT € epi hh, 但 (元 ,za)T gclepi f, 则 由 定理 2.8, 凸 集 epi f 与 点 (FE, 之 间 存 
在 满足 

(m2)+Ca>y> (人 ,本 十 CE， (zareepiy (2.46) 

的 分 离 超 平面 H = {(z,a)j7 s Rn"+i1(n,z)+6a= 人 让 ,其 中 (67 关 (0,0)7. 下 面 
分 别 就 ¢ 关 0 与 < = 0 两 种 情形 进行 讨论 . 

(1) 设 5 关 0. 由 于 式 (2.46) 中 的 epi f 含有 可 以 取 任 意 大 值 的 a, 因此 , 必 有 
《>0. 设 €= 一 nm/4,8=7/6, 则 式 (2.46) 可 改写 为 


区 < (6 本 +B，a>(z)+B， (rz,0)T eepif 
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车 定义 仿 射 函数 h 为 kz) = (&,z) + 8, 则 上 述 不 等 式 变 为 
<h(z), a>h(r), (rz,a)' eepif (2.47) 
式 (2.47) 中 的 第 二 个 不 等 式 表明 he L[f], 故 由 第 一 个 不 等 式 可 得 (F, 世 )T gf epi 刀 ， 
这 显然 与 (元 ,a)T e epi 有 的 假设 矛盾 . 
(2) 设 5 = 0. 由 式 (2.46)， 


(- 思 可 +7Y>0，0>(-mz)+7，(za)T eepif (2.48) 
根据 定理 2.36 的 证 明之 后 的 结果 , 必 存 在 满足 
a>hja(z)，(z,a)r eepif (2.49) 


的 仿 射 函数 hi, 令 hs(z) = (一 n,2) +y, 则 由 式 (2.48) 与 式 (2.49) 知 , 对 任意 入 > 0 
均 有 
a> 各 (z)+ 和 Ahz(z)，(z,a)T Eepif (2.50) 
此 外 , 由 式 (2.48) 中 的 第 一 个 不 等 式 知 , 当 入 充分 大 时 必 有 
& < h(E) + ha 人 元) 
成 立 , 也 即 当 入 充分 大 时 , 仿 射 函 数 h = hi + Ah2 满足 式 (2.47). 于 是 同 (1) 类 似 
可 得 矛盾 . 国 
定理 2.39 ”对 正常 凸 函 数  : R" 一 (-oo,+oo] 必 有 f** = cl f. 特别 地 , 若 f 
为 闭 正常 凸 函数 , 则 有 f** = /. 
证 明 ”由 双重 共 轿 函数 的 定义 知 
f(a)=sup{(2,6) — f°(€) |é eR"} 
=sup {(2,€) —B|(é,8)" e epi f°} (2.51) 
另 一 方面 , 由 于 
(€,P)T eepif” > B21°(€) 2 (2,6) -f(z) (zeRn) 
o> f(z)>(7,€) -8 (zeR") 


利用 定理 2.38 中 定义 的 Z[ 有 i, 由 式 (2.51) 有 
f°*(z2) = sup {n(x) Ihe cl} 


于 是 由 定理 2.38 即 得 f** = cl f. 由 于 当 /为 闭 正常 凸 函数 时 有 了 = cl f 成立， 
理 的 后 半 部 分 显然 成 立 . 

一 般 来 说 , 对 给 定 的 凸 函数 , 其 共 生 函数 是 很 难 用 显 式 表 示 出 来 的 , 但 例 2.10 
中 的 凸 函 数 的 共 思 函 数 则 可 以 给 出 显 式 表示 . 
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例 2.12 例 2.10 中 的 凸 函数 及,…. , fe 的 共 办 函 数 可 分 别 表 示 如 下 : 
(1) f(€) = (1/ejlEl (< R), 其 中 1/p+1/g=1; 
(é/a){In(é/o) —1}, €>0, 
(2) f2(€) €=0, o>0; 
十 oc， €<0, 


—ln(-é), é€<0, 
(3) #2(€) = 人 £ > 0， 
-Qa, 二 一 
十 oo， é A a, 
0, liéll < 1, 
十 co， él|>1, 


(4) £2(€) = { éeR"; 


(5) 及 (6) = { 《ERn"i 

(6) f6(é€) = 3(é —b,A-'(é—b)) (£eE R"), 其 中 O<AeS". 

最 后 介绍 关于 凸 函数 水 平 集 的 一 些 结果 . 

定理 2.40 ”对 任意 a e R, 凸 函 数 f: Rn 一 [一 00, 十 oo] 的 水 平 集 Sr(a) 为 凸 
集 . 进一步 , 车 f 下 半 连 续 , 则 Sr(a) 为 闭 凸 集 . 

证 明 ” 留 作 习 题 2.13. 

定理 2.41 ”对 任意 a e RR， ny f: R" 一 (一 00, 二 oo] 的 水 平 集 Sy(a) | 
界 , 并 且 当 a 充分 小 时 有 Sy(a) = 

证 明 ”如 定理 2.37 中 所 述 ， 二 / 为 系数 o > 0 的 强 凸 函数 , 则 存在 仿 射 函数 
h, 使 得 

re) BASS 3cllzl mcRn 


车 记 右 侧 函数 为 g(x), 则 g : Rn 一 R 为 凸 二 次 函数 , 并 且 对 任意 a € R 均 有 
5Sf(a) G 5a(a) 成 立 . 由 ( 闭 ) 球 So(a) 的 有 界 性 可 知 ，Sy(a) 也 有 界 . 此 外 , 由 于 函 
数 g 下 有 界 , 因此 , 对 充分 小 的 a 有 Ss(a) = 2, 从 而 有 Sy(a) = 儿 . 图 

定理 2.42 ”给 定 闭 正常 凸 函 数 f : R" 一 (00,+o0], 令 4=inf{aeR|Sy(a)# 
G}, 则 当 7 为 严格 凸 函数 , 并 且 Sy(&) 六 忆 时 ，Sy(G) 只 含有 一 个 元 素 . 特别 地 , 若 
f 为 强 凸 函数 , 则 & > -co, 并且 Sy(&) 关 @, 也 即 f 存在 唯一 的 最 小 值 点 . 

证 明 ”由 & 的 定义 知 , 当 a <6& 时 有 Sr(a) = C. 于 是 车 Sy(&) 2, 则 对 任 
意 ze Sj(&) 均 有 f(x) = 46. 现 假定 Sy(&) 含有 两 个 相 异 的 点 el 与 z2. 由 于 依 定 
理 2.40 知 , Sj(6) 为 西 集 , 因此 , 3(z1 + z2) & Sy(6), 并 且 当 /为 严格 凸 函数 时 有 


1 (ie:+ 四 ) < 3eD+37ca) =6 蔬 盾 . 
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车 f 为 强 是 函数 , 则 由 定理 2.41 知 & > -co. 选取 实数 列 {fak}, 使 得 aa > 
aa >… > 并且 ax 一 6, 考虑 满足 zk e Sr(ak) (k= 1,2,…) 的 点 列 {2*}. 由 
定理 2.40 及 定理 2.41 知 , Sy(a1) 为 紧 集 , 再 由 Sr(ak) S Sy(a1) 知 , {2*} 有 界 . 
此 , 存在 收敛 子 列 . 车 设 至 为 {z*} 的 一 个 聚 点 , 则 由 f 的 下 半 连 续 性 可 得 
JE) < liminf f(z*) < lim ak 一 人 
即 Sr(G) #&. 国 
下 面 的 例子 表明 定理 2.42 中 关于 强 凸 函数 的 结果 对 于 严格 凸 函数 未 必 成 立 . 
例 2.13 函数 f(z) = ez 是 严格 凸 函数 , 并 且 
_J (-o%,lnal, a>0 
Ss(o) -| 记 we 
因此 , & = 0, 但 Sj(6) = G. 另外 , f(z) = ez + z 也 是 严格 凸 函数 , 但 对 任意 ac e R. 
均 有 Sy(a) 关 名 ,故而 & = -oo. 


2.9 示 性 函数 与 支撑 函数 
给 定 集合 SC R", 由 


0, ES 
gs(z) = { jo (2.52) 
定义 的 函数 6s : Rn 一 (一 00, +oo] 称 为 集合 5 的 示 性 函数 (indicator function). 由 
该 定义 立即 可 得 下 面 的 定理 : 

定理 2.43 ” 非 空 凸 集 5 C R" 的 示人 性 函数 5s 为 正常 凸 函 数 , 进一步 , 若 5 为 
闭 集 , 则 6s 为 闭 正常 凸 函 数 . 

对 于 非 空 凸 集 S Cc R" 的 示 性 函数 5s, 其 共 有 函 数 5 : Ra 一 (一 00, 二 oc] 称 为 
集合 5 的 支撑 函数 (support function). 由 共 斩 函 数 的 定义 (2.42) 及 示 性 函数 的 定 
义 (2.52) 可 得 

63(0) =sup{(tz, 轨 |=eS} (2.53) 
从 而 依 定理 2.36 知 ，63 为 闭 正 常 凸 函数 . 特别 地 , 若 5 为 有 界 集 , 则 63 处 处 取 有 
限 值 . 

由 式 (2.53), 对 任意 ye Rn 均 有 
55(Xy) = X65(y)， 入 >0 

成 立 . 该 性 质 称 为 正 齐 次 性 (positively homogeneous). 另外 , 由 定理 2.39, 53 的 共 
筑 函数 53" 与 cl 6s 一 致 , 而 由 凸 函数 的 凸 包 的 定义 (2.44), 它 又 等 于 5c1 s. 综合 上 
述 内容 可 得 下 面 的 定理 : 
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定理 2.44 ” 非 空 凸 集 S C Rn 的 支撑 函数 5 为 正 齐 次 闭 正 常 凸 函 数 ， 反 
之 , 若 函数 f : Rn 一 (一 00, 十 oo] 为 正 齐 次 闵 正常 凸 函数 , 则 f 必 为 某 非 空 闭 凸 集 
5S C Rn 的 支撑 函数 , 并 且 有 - 


5= {zeR"|(z,y) < f(y), ve R"} (2.54) 


证 明 “定理 的 前 半 部 分 由 前 面 的 讨论 即 得 , 下 面 证 明 后 半 部 分 . 设 $ 为 由 式 
(2.54) 定义 的 集合 . 不 难 证 明 5 为 非 空 闭 凸 集 , 若 / 为 正 齐 次 , 则 由 共 思 函 数 的 定 
义 有 

1) =sup {(2,%y) -fos)lyeR" 和 >0} 


=sup {X\((z,y) — f(y) ly eR", A>0} 
下 TES 
| +eo，zg5 
因此 , f* = 6s. 进一步 , 车 函数 f 为 闭 正常 凸 函数 , 则 由 定理 2.39 知 , f = f** = 03 
成 立 . 
推论 2.3 恒 取 有 限 值 的 正 齐 次 同 函 数 f : R" 一 有 必 为 某 非 空 紧 凸 集 9 C Rn 
的 支撑 函数 . 
例 2.14 下 面 的 (1)~(4) 均 为 支撑 函数 的 例子 . 
G) 当 5={zeRI-2<z<sll 时， | 上 st 
(2) 当 5S={zeERIl1<z<3} 时 , ss ={ yi 
y, y< 0; 
十 oo，3 > 0, 
2y, ys<0; 
(4) 当 5={z eR"||zl < 1} HH, 55(y) = |lyll (vy € Rn)， 


(3) 当 5= {zeR|z>2} 时, sw-{ 


2.10” 凸 函 数 的 次 梯度 


定理 2.29 揭示 了 凸 函数 的 梯度 具有 了 能够 确定 该 函数 上 图 的 支撑 超 平面 的 特征 
(图 2.14). 利用 该 思想 可 以 将 梯度 的 概念 推广 到 不 可 微 凸 函数 . 

给 定 正常 凸 函数 f : Rn 一 (一 00, +co], 考虑 任意 一 点 rz E dom f， 由 于 点 
{z,jf(z))T 位 于 epi f 的 边界 上 ,由 定理 2.9 知 , epi f 在 (zx, f(z)) 处 存在 支撑 
超 平面 , 即 存 在 某 向 量 (m,8)T e R"+1 ((m,B8)7 关 (0,0)7) 及 某 实 数 7 e R, 使 得 


2.10 凸 函数 的 次 梯度 全. 


(w, f(z))T €E H = {(y,0)T € R"+t!|(y,n)+ab=7), 并 且 
epif EH+= {(y,0)" eR |(y,n) +op >7} (2.55) 
由 于 对 任意 ye R" 均 有 (y, f(y))”e epi f, 故 由 式 (2.55) 可 得 
(y,7) +Bf(Y) >7 (2.56) 
又 由 于 (z, f(z))T EH 北 涵 (zx,n) 十 Bf(z) = 7, 于 是 由 式 (2.56) 得 
B(f(Y)— f(7)) > (-n,y -72), yeR" (2.57) 


另 一 方面 , 由 式 (2.55), 对 任意 满足 a > f(y) 的 实数 a 均 有 (y,n) + a8 > 7 成 立 ， 
这 说 明 6 < 0 不 成 立 , 也 即 8 > 0. 
当 B>0 时 , 置 €= 一 n/B, 则 式 (2.57) 变 为 


f(y)— f(z)>(€,y -7), yER" (2.58) 


满足 式 (2.58) 的 向 量 & € R" 称 为 凸 函数 f 在 点 = 处 的 次 梯度 (subgradient) (图 
2.17). 由 定理 2.29, 车 f 在 z 处 可 微 , 则 满足 式 (2.58) 的 & 存在 且 唯一 , 并 且 易 知 
该 向 量 即 梯度 Vf(z). 然 而, 一般 来 说 , 在 某 点 处 的 次 梯度 未 必 只 有 一 个 . 将 满足 
式 (2.58) 的 向 量 & 的 全 体 构成 的 集合 记 为 8f(z), 并 称 之 为 f 在 点 = 处 的 次 微分 
(subdifferential). 


f(y) 


天 四 十 人 y— 2 
f(z) 


o 2 
图 2.17 凸 函 数 的 次 梯度 
当 8 = 0 时 , 超 平面 H 可 简写 为 {(y,a)Tz es R"t1|(y,n) = }. 由 于 五 为 
Rn+l 中 的 垂直 超 平面 , 故而 无 法 像 式 (2.58) 那样 来 定义 次 梯度 . 因此 , 凸 函 数 f 
在 点 re dom f 处 的 次 梯度 与 epi f 在 点 (z, f(z))T 处 的 非 垂直 支撑 超 平面 一 一 
对 应 . 
定理 2.45 ”正常 凸 函 数 f : Rn 一 (-oo,+oo] 在 点 ze dom 三 处 的 次 微分 
af(z) 必 为 闭 凸 集 . 
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证 明 设 ze dom f. 对 任意 y es R", 由 5S(y) = {é€ €R"|(é,y-—2)< 
f(y) 一 f(z)} 定义 的 集合 2(y) 当头 时 为 半空 间 , 而 当 y = z 时 为 全 空间 . 由 
式 (2.58) 有 9f(z) = 上 5S(y)， 因为 对 任意 y, 3(y) 均 为 闭 同 集 , 故 由 定理 2.1 


时 
知 , 9f(z) 为 闭 凸 集 . [ 
给 定 非 空 止 集 5 C Rn 及 点 z € 5, 满足 


(CYy—2)<0, yes 


的 向 量 6 e Rn" 称 为 5 在 z 处 的 法 向 量 

(normal vector)， 给 定 凸 函数 f : Rn 一 

(-oo,+oo] 及 点 ze dom f, 考查 水 平 集 

Ss(f(z)) = {y € R"|f(y) < f(z)} 与 

次 梯度 & & 8f(z)， 由 式 (2.58), 当 y € 

Sj(f(z)) 时 必 有 (&,y 一 2) < 0 成 立 , 因 

图 2.18 ”次 梯度 与 水 平 集 此 ,了 在 z 处 的 每 个 次 梯度 & 均 为 水 平 集 

Sys(f(z)) 在 z 处 的 法 向 量 (图 2.18). 

上 面 主要 是 从 几何 学 的 观点 出 发 来 考虑 凸 函 数 的 次 梯度 , 下 面 将 从 另外 的 角度 

来 研究 次 梯度 的 性 质 , 正常 凸 函 数 f : Rn 一 (一 00, 十 oo] 在 点 ze dom f 处 沿 方向 
d 的 方向 导数 (directional derivative) 定义 如 下 : 


f(z;d) = lim [f(z + td) — f(z)]/t (2.59) 


由 定理 2.28 知 , 当 t > 0 时 , [f(z 十 td) - f(z)]/t 关于 为 单调 非 减 函 数 , 因此 , 当 
允许 极限 值 取 土 %o 时 , 式 (2.59) 的 右 侧 极限 必 存 在 . 

定理 2.46 ”正常 凸 函 数 f : Rn 一 (一 00, 十 oo] 在 任意 点 z € dom f 沿 任意 方 
向 de Rn 均 存 在 方向 导数 f(z;@), 并 且 f(z;:) : Rn 一 [00, 二 00] 为 正 齐 次 凸 
函数 @. 

证 阴 ”前 一 结论 由 定理 前 面 的 讨论 可 得 , 下 面 证 明 后 一 结论 . 任 取 和 > 0, 并 令 
7 一 礁 , 则 有 


f'(e;Xd) = Rig (fe + td) ~ F(a)l/t 
= in, Mf(e + 7d) — f(a)l/7 = Mi 由， 
故 Pei ) 为 正 齐 次 函数 .下 面 证 明 f'(z;.) 为 凸 函 数 .为 此 , 只 需 证 明 其 上 图 为 西 


集 . 任 取 (中 ma)T, (na)T7 eepi ftzi) 及 asf(01D, 并 令 8=1-a. 由 方向 导 
人 f(z;*) 意 指 = 为 国定 点 , 而 将 f(x; d) 视 为 d 的 函数 . 


2.10” 凸 函数 的 次 梯度 .47、 


数 的 定义 以 及 7 的 凸 性 可 得 
f'(z;ad! + Bd’) = lim f(z +t(ad’ + 8d) — f(z))/t 
= km Ula(e +td) + B(z +td)) — f(a)/t 
< lim {eUe+ta) — f(t+ Blf(z + td") — el/ 


由 于 j(zid) < jw (i = 1,2), 因此 , 最 后 的 极限 不 会 超过 opi + By， A 
(ad! + Bd’?, op + Ppa)T € epi f(z;:). 
例 2.15 ”考虑 由 下 式 定 义 的 正常 凸 函数 f : R 一 (一 co, +o0]: 
-Vi 地，-1<z<0 
f(z) 0<z&l 
十 co， Z< 一 lz>1I 


该 函数 在 z = -1,0,1 处 的 方向 导数 可 分 别 表示 为 


十 co，d>0 
f'(1;d) = | 


d, dxg0 
fd! “> 
0, d<0 

—00, d>0 

f(-l;d)=y 0 d=0 
二 oo，d<0 


如 例 2.15 中 的 (1;a) 所 示 , 即使 f 为 正常 凸 函数 ,并且 ze dom f, f(zi) 
也 未 必 是 正常 凸 函 数 . 

下 面 的 定理 揭示 了 凸 函数 的 次 梯度 与 方向 导数 之 间 的 密切 关系 . 

定理 2.47 “给 定 正常 凸 函数 f : Rn 一 (-oo,+oo] 及 点 2 € dom f, 则 & € 
8f(z) 的 充 要 条 件 是 

f(z;d)>{é,d), deR" (2.60) 

成 立 . 进一步 , 若 f'(z;:) : Rn 一 (一 00, 十 oo] 为 闭 正 常 凸 函数 , 则 f'(z;) 与 集合 
9f(z) 的 支撑 函数 55yre) 一 致 

证 了 明 ”在 次 梯度 的 定义 (2.58) 中 , 令 y = z+td 可 得 


[f(z+td)— f(z)/t>(é,d), deR",t>0 
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由 于 依 定理 2.28 知 , 上 式 左 侧 关于 t 单调 非 减 , 因此 , 上 述 不 等 式 与 式 (2.60) 等 

价 , 从 而 知 式 (2.60) 为 & € 8f(z) 的 充 要 条 件 . 下 设 P(zi;.) 为 闭 正 常 凸 函数 . 则 

由 定理 2.46 知 ,fj(z;.) 为 正 齐 次 闭 正 常 凸 函数 . 再 由 定理 2.44 知 , f'(z;) 为 闭 凸 

集 5 = {€ eR"|(é,d) < f'(z;d) (de Rn)} 的 支撑 函数 . 注意 式 (2.60) 即 表 明 

5 = 0f(z), 于 是 结论 成 立 . 本 
由 定理 2.47, 当 j(z; .) 为 闭 正 常 凸 函数 时 必 有 下 式 成 立 : 


f(z;d) =sup {(é,d)|é eof(z)}, deR” (2.61) 
例 2.16 例 2.15 中 的 函数 f 的 次 微分 可 表示 为 


{z/Vi—zi}, ~l<z<0 


1， r=0 
8f(z) = 4 {1}, 0<z<1l 

{1, +oco)， T=1 

9 -lr>1 


在 z= 一 1 处 , 如 例 2.15 所 示 , f'( 一 1;) 不 是 正常 凸 函数 . 事实 上 , 由 于 8f(-1) = %， 
故 式 (2.61) 不 成 立 . 另 一 方面 , 易 证 式 (2.61) 对 任意 z e (-1,1] 均 成 立 . 

由 定理 2.47 可 得 下 述 关 于 次 梯度 的 存在 性 定理 : 

定理 2.48 ”给 定 正 常 凸 函数 f : Rn 一 (一 00, +oo] 及 任意 一 点 ze dom f, 则 
98f(z) 关 儿 的 充 要 条 件 是 存在 7 > 0, 使 得 


f(y) -flz)>-?ly -zl yeR" (2.62) 


特别 地 , 对 任意 z e ri dom 均 有 8f(z) 关 纪 并且 f'(z;-) = 的 j(w) 成 立 . 
证 明 首先 假设 8f(z) 非 空 , 也 即 存在 上 e sjf(z)， 在 式 (2.58) 中 , 应 用 
Cauchy-Schwarz 不 等 式 可 得 


f(y)— f(z)>-lélly- zl, veR” 


于 是 当 & 关 0 时 , 令 7 = | 即 得 式 (2.62), 而 当 & = 0 时 , 式 (2.62) 对 任意 7 > 0 
均 成 立 . 现 假设 9f(z) = &, 则 存在 de R", 使 得 f'(z;d) = -oo 且 dl = 1 ( 留 作 
习题 2.18). 取 y=z 十 td, 并 令 t、\ 0 可 得 


[f(y) — f(z)/ly — z= [f(z +td) — f(z)/t— ~ 
因此 , 不 存在 7 > 0 满足 式 (2.62). 定理 的 前 半 部 分 证 毕 . 
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设 z eridom f, 则 dom f(z;:) 为 dom f 的 仿 射 包 经 平行 移动 所 得 的 线 
性 子 空间 , 因此 有 ri dom f'(zx;:) = dom f'(z;:)， 此 外 , 由 于 P(z;0) = 0 蕴涵 
0 e ri dom f(z;.), 故 f'(z;:) 为 正常 凸 函 数 ， 再 者 , 由 定理 2.38 知 , 对 任意 de 
ri dom j(zi-) = dom jzi) 均 有 f(z;d) = cl f'(z;d) 成 立 , 由 此 可 得 jzi) = 
cl f{zi.)， 综 上 即 知 j(z;) 为 闭 正 常 凸 函数 ， 从 而 由 定理 2.47 可 得 定理 的 后 半 
部 分 . | 

定理 2.49 ”给 定 正常 凸 函数 f : Rn 一 (一 00, +oo]. 车 z e int dom f, 则 方向 
导数 f'(z;d) 在 任意 d 处 均 取 有 限 值 , 并 且 次 微分 9f(z) 为 非 空 紧 凸 集 . 

证 阴 ”由 定理 2.48, 当 z e int dom f 时 ，f'(z;) 为 正常 凸 函数 , 因此 , 欲 证 明 
jf(zi.) 处 处 取 有 限 值 , 只 需 证 明 f'(z;d) < +oo (de R"). 设 z eint dom f, 则 对 
任意 de Rn 均 存 在 r > 0, 使 得 rz + rd e dom f, 于 是 由 [ftz+tal) -f(z)]/t 关 
于 t+ 上 的 单调 性 可 得 


f'(z;d) < [f(z +7d)— f(z)]/7 < +oo 
再 由 定理 2.44 的 推论 即 知 , 9f(z) 为 非 空 紧 凸 集 . 加 


定理 2.50 ” 设 工 为 有 限 指标 集 , 而 万: Rn 一 (-oo,+col (i Ee 了 均 为 正常 凸 
函数 . 定义 凸 函数 f : Rn 一 (一 00, +oo] 为 


jlz) =sup {fi(z) |ieZ} 
车 int dom f 关 @, 则 对 任意 z € int dom f 均 有 
Of(z) = co {0fi(z) |ie T(z)} (2.63) 
成 立 , 其 中 T(z) = {ieE 工 |f(z) = 天 (2)}. 
证 明 设 zeint dom f. 由 于 zeint dom fi (ie 了, 故 由 定理 2.49 知 , 9f(z) 
与 9Fi(z) (ie 了 7) 均 为 非 空 紧 凸 集 . 令 5 = co {0fi(z)|ie 工 (x)}， 由 定理 2.2, 5 


为 由 9fi(z) (ie T(z)) 中 任意 有 限 个 点 的 凸 组 合 全 体 构成 的 集合 , 再 注意 到 每 个 
8fi(z) 均 为 凸 集 , 于 是 $ 可 表示 如 下 : 


s- {ee 


任 取 de R" (d 了 0). 对 任意 t > 0, 考虑 指标 集 T(z +td) = {fieI|f(z +td) = 
天 (2 +td)}. 由 于 工 只 有 有 限 个 元 素 , 故 存在 指标 i? < 工 及 收效 于 0 的 无 穷 正 数 
列 {tk 上} 使 得 i? e TI(z 十 td). 假设 i* T(z), 则 由 工 (2) 的 定义 知 f(x) < f(z). 
由 于 当 t > 0 充分 小 时 有 z 十 td € int dom f C int dom i-, 由 定理 2.33 知 , 当天 


= bb oi€', €i € Ofi(z), 2 二 1as 之 |] (2.64) 


iET(z) iET(z) 
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充分 大 时 有 fi.(z 十 trd) < f(z 十 tkd) 成 立 , 这 与 i* e T(z +tkd) 相 矛 盾 , 故 必 有 
记 EI(z). 因此 ， 

[f(z + trd) — f(z)]/tr = [fi (z+ trd) — fi- (2)]/te 
从 而 由 方向 导数 的 定义 可 得 

f'(z;d) = fi. (2;d) (2.65) 

再 由 了 及 TI(z) 的 定义 , 对 任意 ie I(z) 均 有 

[f(z +trqd) — f(z)]/te 2 [fi(z + trd) — fi(2)]/tr 


f'(z;d) > fi(z;d), ieT(z) (2.66) 
综合 式 (2.65) 与 式 (2.66) 可 得 
f(z;d) = max {fi(z;d) |ie T(z)} (2.67) 
注意 到 
max {fi(z;d) lie€ T(z)} = | 闻 ai 天 (zid) bb ai=1,ai> | 
iET(z) 1EIfm) 
则 由 式 (2.61) 及 式 (2.67) 可 得 


iEI(z) 


f(z;d) = | > omax{(é',d) |é: € Of(z))} 


>》 ai 一 1ai > | 
YEI(z) 
= max 人 > ailé',d) 


iEI(z) 


é' eofi(z), > “ez 


iEI(m) 
进而 由 式 (2.64) 得 到 
f(z;d) = max {(€,d) |€ 5} 
由 向 量 d 的 任意 性 , 并 利用 定理 2.48 可 得 
681(2)(d) = max { 作 四 Itée 5), deR" 


也 即 中 /te) = 政 . 由 于 8f(z) 与 5 均 为 紧 凸 集 , 因此 , 必 有 9f(z) = 5. 国 
当 所 有 大 均 在 z 处 可 微 时 , 式 (2.63) 可 表示 为 


Of(z) = co {Vfi(z) |ie T(z)} (2.68) 


2.10” 凸 函 数 的 次 梯度 .51. 


例 2.17 2.19 表示 的 是 如 下 定义 


的 函数 f : R? 一 R 的 等 高 线 : + 
f(z) = max { -zi -zz， —21++ 22, 1} 2 


利用 式 (2.68) 可 得 f 在 点 zl = (0,0)7 与 a 
z2 = (1,2)7 处 的 次 微分 分 别 为 
Of (£1) = co 1(-1,-1)7,(-1,1)7,(1,0)T SS 
} 
af(z?a = co {(-1,1)7,(1,0)7} 图 219 f(z) = maxf-zi -za 
关于 凸 函数 的 和 以 及 数 乘 的 次 微分 td) 


有 下 面 的 定理 : 
定理 2.51 ”对 于 正常 凸 函 数 f : Rn 一 (-oo,+oo] 与 任意 实数 > 0 必 有 


BAj)(z) = MX8f(z)，zEeR" (2.69) 
此 外 , 给 定 正 常 凸 函数 fi : Rn 一 (-oo,+ool (i = 1,… ,m), 则 有 
O(fi+:*+ fm)(2) 2 Ofi(2) + +Ofm(z), rER” (2.70) 


车 进一步 还 有 ri dom in… nri dom fm 关 2, 则 式 (2.70) 中 的 等 号 成 立 . 
证 明 ”由 次 梯度 的 定义 立即 可 得 式 (2.69)， 下 面 证 明定 理 的 后 半 部 分 ， 任 取 
gi € Ofi(2) (=1…,m), 并 令 扣 = 局 十 … 二 如, 则 有 


(V+ fm(y) 2 f(z) + (EY — ++ fm(2) + (€™,Y — £) 
=f1(T)+…+fm(z)+(é,y -7 yER" 
这 说 明 & € 8( 户 十 …+ fm)(z), 故 式 (2.70) 成 立 . 注意 : 若 存在 i, 使 得 0fi(z) = 2， 
则 式 (2.70) 的 右 侧 为 空 集 , 因此 , 该 式 仍然 成 立 . 证 明定 理 的 最 后 一 个 结论 需要 更 
多 的 预备 知识 , 这 里 为 简单 起 见 ,只 考虑 z e int dom fi (i = 1,… ,m) 的 情形 . 若 
zeEint dom fi (i = 1,.… ,m), 则 由 定理 2.49 知 , 有 (zx;d) 对 任意 d 均 取 有 限 值 , 于 
是 有 


( 户 + 十 各) (2;d) = fi(z;d) +-…+ fm(z;d) (2.71) 
由 (2.61) 知 , 式 (2.71) 的 左 侧 等 于 


sup {(€,d) |é ea(fi + + fn)(7)} 
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而 右 侧 为 


sup {(é1,d) | e Of (2)} + +sup {(€™,d) |é™ € Ofn(z)} 
=sup {(&d)|é€ Of(z) +-..+0fn(z)} 
由 于 上 述 结论 对 所 有 d e R" 均 成 立 , 故 有 8(f1 +… 十 fn)(z) = BfPi(z) 十 … 十 
Ofn(z). 加 
凸 函数 的 次 微分 与 共 元 函数 之 间 有 着 如 下 非常 有 趣 的 关系 : 
定理 2.52 ”给 定 正常 凸 函 数 有 : R" 一 (-co,+eol, 则 Eee 8f(z) 的 充 要 条 
件 是 
f(T) + f°(€) < (2,€) (2.72) 
该 条 件 进一步 等 价 于 
f(2) + f°(€) = (2,é€) (2.73) 
此 外 , 若 f 为 闭 正常 凸 函数 , 则 & es 9f(z) 等 价 于 me 87*(&). 
证 明 ”由 次 梯度 的 定义 (2.58), < e 8f(z) 等 价 于 


(2,€) — f(2) > (y,6) — f(y), yeR" 


于 是 由 共 思 函 数 的 定义 (2.42) 即 得 定理 的 第 一 个 结论 ， 再 由 共 轧 函数 的 定义 
(2.42) 有 
f(z)+f"(€)> {2,6), rER",EER" 
成 立 , 故 式 (2.72) 与 式 (2.73) 等 价 . 
设 f 是 闭 正常 凸 函 数 , 则 由 定理 2.39 知 f = f**, 于 是 式 (2.73) 可 改写 为 


三 (GE)+ (zz) = 人 m) 


由 定理 的 前 半 部 分 结论 可 知 , 上 式 意味 着 re 67*(&), 因此 ,上 es 89f(z) 与 z € 0f*(é) 
等 价 . 四 
定理 2.52 表明 , 使 得 正常 凸 函数 f 的 共 思 函 数 


f°(é) =sup {(2,€) — f(z)|z eR"} 


的 右 侧 达到 最 大 的 = 即 为 f* 在 & 处 的 次 梯度 . 闭 正常 凸 函 数 的 次 梯度 与 其 双重 共 
辆 函数 之 间 也 有 同样 的 关系 成 立 , 定理 2.52 还 表明 , 若 将 闭 正 常 凸 函 数 f 的 次 微 
分 看 成 由 z 对 应 到 9f(z) 的 映射 , 则 8y 与 9f* 互 为 着 映射 ， 
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例 2.18 考虑 如 下 定义 的 函数 f : R. 一 (-00, +oo]: 


十 co， T<al 
f(z)= 4 bz+f, agr<a 
bar+pPa, a2 7 
其 中 al < az, b1 < bz, 并 且 biaz + Bi = bzaz 十 B2. 图 2.20(a) 描绘 出 了 f 的 图 像 . 


将 这 样 的 函数 称 为 逐 片 线性 凸 函 数 (piecewise linear convex function). 函数 f 的 共 
轿 函 数 


aé+a, €<h 
f°(€) = a t+a2, bi<é<b 
十 co， bo<é 


也 是 逐 片 线性 凸 函 数 (图 2.20(b)), 其 中 ai, az 为 满足 ay + Bi + ab = 0 与 az 十 
Bo +azbz = 0 的 常数 . 7 与 f* 的 次 微分 可 分 别 表示 如 下 (图 2.21): 


@, T<al {a1}, 《< 有 
(-o0,bi], I=a1, [eaz]， 《= 六 
af(z) = {b}, a<z<a, 0f"(é) = {02}, bi<é<b 
[b1, b2], 8 三 02， [az,+00),é€=b2 
{62}, aa < mi @, bo<é 


从 图 2.21 中 即 可 看 出 次 微分 的 映射 8f 与 9f* 之 间 互 为 逆 映 射 的 关系 . 此 外 , 如 图 
2.21 所 示 , 逐 片 线性 凸 函 数 的 次 微分 一 定 也 是 逐 片 函数 . 


(a) 例 2.18 中 的 函数 {b) 共 固 函数 广 
图 2.20 


下 面 的 定理 说 明 次 微分 8f 作为 映射 具有 某 种 连续 性 . 具有 这 种 性 质 的 映射 称 
为 闭 映 射 ( 见 2.12 节 ). 
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(a) 例 2.18 中 了 的 次 微分 Bf (b) f 的 次 微分 
图 2.21 


定理 2.53 ” 设 f:R" 一 (-o0,+oo] 为 闭 正常 由 函数 . 给 定 满足 zk 一 z 的 点 
列 {z*}CR", 车 Ete8f(z*) 且 &* 一 &, 则 有 &€ 8f(z). 
证 明 ”由 式 (2.72) 知 , 若 &* e 8f(z*), 则 有 


f(z*) + f°(€*) < (w*,€*), k=1,2,... 


考 虚 上 式 两 侧 的 极限 . 显然 , 右 侧 收敛 于 (z,é), 而 由 定理 的 假设 及 定理 2.36 知 , f 
与 f* 均 为 闭 正 常 凸 函数 , 故 有 f(z) < liminf f(2*) 且 产 (6) < liminf f°(€"), 于 
是 有 

f(z2) + f°(é€) < (2,é) 
成 立 , 从 而 由 定理 2.52 知 Ee 8f(z). LJ 

定理 2.54 ” 设 闭 正常 凸 函 数 f : Rn 一 (一 00, 十 oo] 的 有 效 域 dom f 为 开 集 . 
车 f 在 dom j 内 可 微 , 则 fF 必 在 dom f 内 连续 可 微 . 

证 明 ”车 f 可 微 , 则 有 8f(z) = {Vf(z)). 因此 , 本 定理 由 定理 2.53 即 得 国 

定理 2.55 ” 若 闭 正常 钙 函 数 有 : Rn 一 (一 00, +co] 为 强 凸 函数 , 则 共 斩 函 数 
f° :R" 一 R 连续 可 微 . 

证 明 ”由 定理 2.52, 共 罗 函 数 f* 在 & 处 的 次 梯度 即 是 使 得 函数 f(z) = f(z) 一 
(z,é) 达到 最 小 的 =. 由 于 六 也 是 强 凸 函数 , 由 定理 2.42 知 , 上 述 z 存在 且 唯 一 ， 
故 f* 处 处 可 微 . 此 外 , 定理 2.37 说 明 f* 必 为 实 值 函数 , 从 而 由 定理 2.54 知 , f* 处 
处 连续 可 微 . 图 


2.11 非 凸 函数 的 次 梯度 
次 梯度 的 概念 可 以 推广 到 非 几 函数 ， 由 于 对 函数 值 可 能 取 十 co 的 广义 实 值 函 


2.11 非 凸 函数 的 次 梯度 


数 来 说 需要 较为 复杂 的 讨论 , 因此 本 节 只 限于 讨论 处 处 取 实 数值 的 函数 . 


当 函 数 f : Rn 一 及 为 凸 函 数 时 , 由 定理 2.47, f 在 点 = 处 的 次 梯度 & € 8f(z) 
即 为 满足 式 (2.60) 的 向 量 , 其 中 的 方向 导数 f'(z; d) 则 刻画 了 函数 f 在 点 z 附近 
的 局 部 变化 趋势 . 这 提示 可 以 考虑 将 式 (2.60) 中 的 7 推广 到 非 凸 函数 的 情形 , 并 
据 此 定义 非 凸 函数 的 次 梯度 . 然而 , 由 于 式 (2.60) 是 基于 f'(z;-) : R" 一 R 为 凸 
函数 这 样 一 种 性 质 , 而 当 f 为 非 凸 函数 时 并 不 能 保证 方向 导数 的 存在 性 , 即使 假定 
方向 导数 f'(z; .) 存在 也 未 必 是 凸 函 数 , 因此 , 并 不 能 原封 不 动 地 将 式 (2.60) 推广 
到 非 凸 函数 ， 现 在 定义 函数 f 在 点 = 处 的 广义 方向 导数 (generalized directional 


derivative) 如 下 : 
f(z;d) = limsuplf(y +td) — f(y)l/t 
t\0 


注意 : 上 式 右 侧 的 上 极限 既 要 求 t\ 0, 也 要 求 y 一 z. 
例 2.19 ”考虑 如 下 定义 的 函数 了 :有 一 及 (图 2.22): 


一 2 十 2-2k+1， 2-2k < 2 < 2-2k+1， 大 = 0, 士 1,-2,... 
j(z) = 4 2z 一 2-2k， 2-2k-1 < z < 2-2k k=0,+1,+2,... 


0, TS 和 0 


图 2.22 例 2.19 中 的 函数 了 
该 函数 在 x = 0 处 的 广义 方向 导数 可 表示 为 


2d, d>0 


roo-{ yo 


(2.74) 


然而 , 当 d > 0 时 , 通常 意义 下 的 方向 导数 f'(0; d) 并 不 存在 . 另外 , 若 在 式 (2.74) 


中 国定 y = 0, 则 上 极限 为 


d, d>0 


Hm yh) — f(0)]/t= { 0, d<0 
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这 与 f°(0; d) 不一致 
例 2.20 ”考虑 一 元 函数 


jf(z) = min {z2/2 一 ZT? 十 2z} 


该 函数 在 zx = 0 处 的 广义 方向 导数 与 通常 意义 下 的 方向 导数 可 分 别 表示 如 下 (图 
2.23): 

-d, dz>0, 
2d，d < 0， 


2d，d>0 
-d, d<0 


f'(0;d) = { f°(0;d) = | 


f 


(a) 俩 2.20 中 的 函数 (b) 方向 导数 
图 2.23 


如 例 2.20 中 所 示 , 即使 f(z; d) 存在 , 它 与 f°(z; d) 也 未 必 是 一 致 的 . 特别 地 ， 
车 f 在 点 z 处 存在 方向 导数 , 并 且 对 所 有 de Rn 均 有 f°(z;d) = f'(z;d) 成 立 ， 
则 称 f 在 z 处 Clarke 正则 (Clarke regular). 由 定义 即 得 下 面 的 定理 : 

定理 2.56 ”车 函 数 1 : R" 一 R 为 凸 函 数 或 者 连续 可 微 函 数 , 则 f 在 任意 点 
z 处 均 为 Clarke 正则 的 . 

对 任意 有 界 集 2 Cc R", 若 存在 常数 < > 0 满足 


If(z)—f(WI < «lz — yl, zyen (2.75) 


则 称 函 数 f : Rn 一 R 为 局 部 Lipschitz 连续 (locally Lipschitz continuous), 其 
中 常数 < 是否 依 赖 于 集合 2 都 没有 关系 . 特别 地 , 当 & 不 依赖 于 8 时 , 称 f 为 
Lipschitz 连续 (Lipschitz continuous). 例如 , 仿 射 函数 为 Lipschitz 连续 , 而 二 次 
函数 虽然 一 般 非 Lipschitz 连续 , 但 却 是 局 部 Lipschitz 连续 的 . 众所周知 , 连续 可 
微 函 数 以 及 处 处 取 有 限 值 的 凸 函 数 均 为 局 部 Lipschitz 连续 函数 . 下 面 主 要 就 局 部 
Lipschitz 连续 函数 进行 讨论 . 

定理 2.57 若 函 数 f : Rn 一 R 局 部 Lipschitz 连续 , 则 对 任意 ze Rn 与 
de R", 广义 方向 导数 f°*(z; d) 均 为 有 限 值 , 并 且 满足 


If°(z;D)| < «lldl, deR™ (2.76) 
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其 中 为 依赖 于 z 的 正常 数 . 此 外 , 对 任意 zs R", f°*(z;:) : Rn 一 了 均 为 正 齐 
次 凸 函数 . 
证 明 ” 式 (2.76) 由 式 (2.74) 与 式 (2.75) 可 得 , 而 f°(z;:) 的 正 齐 次 性 


f°(z;Md) =Af°(r;d), deR",AM>0 


也 可 由 式 (2.74) 得 到 , 故 只 需 证 明 f°(z;:) 为 是 函数 .为 此 , 任 取 d!,d? e Rn 及 
ae [0, 了, 则 由 式 (2.74) 有 


f°(z;(1— a)d’ +ad’) 
= limsup [f(y +tl(1— a)d’ + ad’]) ~ f(y)l/t 


< limsup[f(y +t(1 ~ a)d! +tad’) — f(y +tad’)]/t 
tO 


+ limsup [f(y + tad2) — f(y)]/t 
[SY 
=(1— f°(z;d)+af’(z;d’) 


成 立 , 因此 , f°(z;:) 为 凸 函 数 . n 
由 定理 2.57 知 , 广义 方向 导数 f°(z; d) 通常 关于 d 为 凸 函数 . 利用 该 性 质 即 
能 够 按照 与 式 (2.60) 同样 的 方法 将 次 梯度 的 概念 推广 到 非 凸 函数 . 称 满足 


f(r;d)>(€,d), deR” (2.77) 


的 向 量 6 e Rn 为 函数 f 在 点 re Rn 处 的 次 梯度 , 并 称 f 在 z 处 的 次 梯度 的 全 
体 构成 的 集合 为 次 微分 , 记 为 af(z). 

例 2.21 例 2.19 与 例 2.20 中 的 函数 f : R 一 R 在 z=0 处 的 次 微分 均 为 
9f(0)= {£eR|—1<é€<2} (图 2.23). 

由 定理 2.56 知 , 车 有: Rn 一 了 为 凸 函 数 , 则 由 式 (2.77) 定义 的 次 微分 与 2.10 
节 关 于 凸 函 数 的 次 微分 是 一 致 的 . 为 了 区 别 于 凸 函数 的 次 微分 有 时 也 称 式 (2.77) 
定义 的 次 微分 为 Clarke 次 微分 (Clarke subdifferential). 关于 局 部 Lipschitz 连续 
函数 的 可 微 性 有 下 面 的 定理 成 立 , 这 里 省 略 了 定理 的 证 明 . 

定理 2.58 ” 若 函 数 f : Rn 一 R 连续 可 微 , 则 f 必 为 局 部 Lipschitz 连续 , 并 
且 对 任意 = 均 有 8f(z) = {Vf(z)} 成 立 , 反之 , 若 f 局 部 Lipschitz 连续 , 并 且 存 
在 开 球 B(z,r), 使 得 8f(z) 在 该 开 球 内 每 一 点 z 处 都 只 含有 一 个 元 素 , 则 f 在 开 
球 B(z,r) 内 连续 可 微 . 

证 明 ”请 参见 文献 Clarke (1983)[10]. 

如 下 面 的 例子 所 示 , 定理 2.58 中 的 这 对 订 扩 福 要 洲 趟 能 耻 间 区 用 苛 福 条 人 
来 替换 . 
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例 2.22 ”考虑 一 元 函数 
Zz?2sin(l/7), zr#0 
f(z) = 人 


该 函数 在 任意 z 处 均 可 微 , 并 且 


vf(z) = { ed —cos(l/z), z#A0 


2=0 
但 是 Vf 在 z = 0 处 不 连续 . 实际 上 , 由 于 8f(0) = {tf € R| -1 < & < 1), 因此 ， 
9f(0) = {Vf(0)} 不 成 立 . 
定理 2.59 ” 若 函 数 了 : Rn 一 R 局 部 Lipschitz 连续 , 则 对 任意 z € Rn 与 
de Rr 均 有 
f°(2;d) =max {(€,d) |€ € 07(2)} 
= 687(z)(0) (2.78) 
成 立 ， 并 且 8f(z) 为 非 空 紧 凸 集 . 
“证明 由 定理 2.57 知 , f*"(z;.) : Rn 一 了 人 
此 , 由 定理 2.44 及 其 推论 即 得 本 定理 的 结论 . 
关于 局 部 Lipschitz 连续 函数 的 次 梯度 有 下 面 的 定理 成 立 : 
定理 2.60 ”对 局 部 Lipschitz 连续 函数 f : Rn 一 R 及 任意 实数 > 0 有 
B(Af)(z) = MBflz)，zeRn 
成 立 . 此 外 , 对 局 部 Lipschitz 连续 函数 户 : R" 一 R (i=1,… ,m) 有 
86( 户 +… 十 和 向)(z)ESEaf(z)+…+afmn(z)，zeRn (2.79) 


成 立 . 
证 明 ”前 半 部 分 由 定义 即 得 , 下 面 来 证 明 后 半 部 分 . 为 简便 起 见 , 假定 m = 2， 
由 此 可 以 很 容易 地 推广 到 mm > 3 的 情形 . 首先 , 由 式 (2.74) 总 有 


(fi + f2)°(z;d) < fr(z;d) + f(z;d), rz ER",deR" (2.80) 
成 立 . 由 式 (2.78) 有 


(f+ fa)°(;d) = max {(€,d) |€ € (fi + fa)(2)} = ties +so(a)(d) 
fr (mid) + fa(e;d) = max {(€,d) |€ € Ofi(z) + Ofo(z)} = 3,(8)+01s(0)(d) 
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由 于 闭 凸 集 的 支撑 函数 与 示 性 函数 相互 共 绒 , 于 是 由 式 (2.80) 可 得 


Gas+2)9)(Y) = max {(y,d) — (fi + fa) (zx;d)) | de R"} 
> max{ 人 四 - (fr(z;d) + f(z;d)|d eR"} 
= 66h(a)+efatzl(y)， YER" 


因此 , 包含 关系 (2.79) 得 证 . 国 

定理 2.60 可 看 成 关于 凸 函数 的 定理 2.51 的 推广 . 与 针对 一 般 凸 函数 的 式 (2.70) 
相 比 , 式 (2.79) 中 的 包含 关系 是 逆向 的 , 但 这 也 没有 什么 可 奇怪 的 . 实际 上 , 对 于 定 
理 2.51 中 那样 假定 fi (i = 1,… ,m) 均 为 有 限 凸 函数 的 情形 必 有 


( 户 十 … 十 和 )(z) = 0fi(2)+:+Ofmn(z), rER" (2.81) 


成 立 , 因此 , 定理 2.60 中 的 式 (2.79) 也 包含 式 (2.81) 的 情形 . 如 下 面 的 例子 所 示 ， 
式 (2.81) 对 于 有 限 非 凸 函数 未 必 恒 成 立 . 
例 2.23 考虑 下 面 的 函数 f: :RR 一 R (i= 1,2): 


fi(z) = |z|, fa(z) = 一 2|z| 


则 在 z = 0 处 有 f?(0;d) = ld| 且 展 (0;d) = 2ldl, 因此 ，68 有 (0) = [-1,1] 且 
8f2(0) = [2,2], 从 而 有 8f1(0) + 8f2(0) = [-3,3]. 但 是 , 由 于 


(fi + f2)(z) = 一 |z| 


故 有 f°(0;d) = |dl, 所 以 8( 户 + 户 )(0) = [1,1]. 

可 以 很 容易 地 证 明 下 面 的 推论 : 

推论 2.4” 若 局 部 Lipschitz 连续 函数 f; : Rn 一 R (i = 1,… ,m) 均 在 点 zx 
处 Clarke 正则 , 则 式 (2.81) 成 立 . 

下 面 的 定理 是 关于 凸 函数 的 定理 2.50 的 推广 : 

定理 2.61 设 工 为 有 限 指标 集 , f; : R" 一 R (ie 了) 为 局 部 Lipschitz 连续 函 
数 . 定义 函数 f : Rn 一 了 且 为 


f(z) = max {f(z) |ieI} 
则 对 任意 = e Rn 均 有 
Bf(®) co {0fi(z) |i eZ(o)} 
成 立 ,其 中 工 (z) = {ie 工 |f(z) = f(z)}. 
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证 明 ”首先 注意 : f 也 是 局 部 Lipschitz 连续 函数 . 现 设 5 = co {68fi(z)|i e 
T(z)}. 容易 证 明 5 为 非 空 紧 凸 集 , 并 且 

max {(€,d) |é € 8} =max {ff (2;d) |ie T(z))} 
成 立 , 故 由 式 (2.78) 只 需 证 明 
Peids<max{fzlaidlicz} (2.82) 
即 可 . 为 此 , 选取 点 列 {3} 及 正 数列 {tk} 满足 yk 一 z, tN 0, 并 且 
f°(z;d) = lim [f(y* + tkd) 一 (9]/tt 


由 于 指标 集 工 中 元 素 的 个 数 有 限 , 必要 时 选取 适当 的 子 列 , 因此 , 可 不 妨 假设 存在 
记 ET, 使 得 i? Ee 工 (y* 十 tkd) (k= 1,2,…). 故 对 所 及, 均 有 


[f(y* + ted) — f(y )]/te < [fi (V+ ted) — Fie (ye)/th (2.83) 


成 立 . 令 大 一 co, 则 式 (2.83) 的 左 侧 收敛 于 f°(z;d), 而 由 广义 方向 导数 的 定义 知 ， 
右 侧 不 会 超过 fs (z; d) 的 值 , 由 此 可 得 


f°(w;d) < fe (zw;d) 


由 f 与 fi 的 连续 性 可 知 , i* € T(z) 成 立 , 因此 , 上 述 不 等 式 即 意味 着 式 (2.82) 成 
立 . 国 
由 定理 2.50, 当 fi (ie 7 了 ) 为 取 有 限 值 的 凸 函数 时 有 


af(z)= co {Bfi(z) lieZ(z)}, zeR" (2.84) 


成 立 . 然而 , 如 下 例 所 示 , 式 (2.84) 对 于 非 凸 函数 未 必 成 立 . 与 定理 2.60 的 推论 类 
似 , 为 了 使 得 式 (2.84) 对 非 凸 函数 也 成 立 , 有 必要 假定 函数 fi 的 Clarke 正则 性 . 
例 2.24 利用 例 2.23 中 的 函数 户 , 户 定义 函数 有 :RR 一 R 如 下 : 


f(z) = max {fi(z), fa(2)} 


则 f(z) = 有 1(z) (ze R), 故而 有 8f(0) = [-11， 但 是 T(0) = {1,2}, 因此 ， 
co {9 有 (0), 8f2(0)} = [-2,3, 这 说 明 8f(0) # co {8f:(0) |i € 工 (0)}. 

推论 2.5 设 工 为 有 限 指标 集 , 并 且 局 部 Lipschitz 连续 函数 f: : Rn 一 及 
(ie 刀 均 在 z 处 Clarke 正则 , 则 式 (2.84) 成 立 . 

下 面 的 定理 是 关于 凸 函数 的 次 微分 的 定理 2.53 的 推广 . 


2.11 非 凸 函数 的 次 梯度 .61. 


定理 2.62 设 f:R" 一 RR 为 局 部 Lipschitz 连续 函数 . 对 于 满足 zk 一 z 的 
点 列 {2*}C R", 若 ere 0f(z*) 且 &* 一 &, 则 有 & e688f(z) 成 立 . 
证 明 对 任意 de R", 车 Ete 8f(z*), 则 有 


f°(z*;d) > (€*,d) (2.85) 


成 立 . 由 式 (2.74), 对 任意 sx > 0 必 存 在 多 & Rn 及 tk > 0, 使 得 ly -- zk|| < eh， 
t < sk 并 且 


[f(y +trd) — f(y )]/te > f° (2*;d) — ex {2.86) 
由 式 (2.85) 与 式 (2.86) 可 得 
[f(y* +trd) 一 JJ 2 (€°,d) — ex (2.87) 


令 ek 一 0 (k 一 00), 易 知 y* 一 zz, 因此, 式 (2.87) 左 侧 的 上 极限 不 会 超过 f*(z; qd) 
的 值 , 而 式 (2.87) 右 侧 收敛 于 (&, d). 由 此 可 得 


f°(z;d) > (由 


由 de Rn 的 任意 性 以 及 9f(z) 的 定义 (2.77) 即 知 Ee 8f(z). 
由 于 次 梯度 的 定义 (2.77) 中 含有 广义 方向 导数 f°(z; 中, 所 以 ， he 
梯度 时 并 不 适用 . 本 节 接 下 来 将 给 出 更 适用 于 计算 的 次 梯度 的 特征 . 
众所周知 , 局 部 Lipschitz 连续 函数 了 ; Rz 一 R 是 几乎 处 处 可 微 的 D (Radem- 
acher 定理 (Rademacher's Theorem)). 记 f 可 微 的 点 = 的 全 体 构 成 的 集合 为 Dj. 
由 
Baf(z) = {lim Vf(2*)| lim 2* =2, {2*} € Dy} (2.88) 


定义 的 集合 Bf(z) 称 为 了 在 = 处 的 Bouligand 次 微分 (Bouligand subdifferential) 
或 者 B 次 微分 (B subdifferent:al). 也 就 是 说 , B 次 微分 G6f(z) 为 所 有 使 得 Vf(z*) 
存在 且 收敛 于 z 的 点 列 {z*} 对 应 的 梯度 序列 的 全 体 聚 点 所 构成 的 集合 . 

定理 2.63 ”局 部 Lipschitz 连续 函数 f : Rn 一 R 在 z 处 的 (Clarke) 次 微分 
与 其 B 次 微分 之 间 有 关系 式 


Of (2) = co Gpf(z) (2.89) 

成 立 . 
证 明 ”由 于 本 定理 的 证 明 需 要 一 些 必要 的 预备 知识 , 故此 处 省 略 (可 参见 文献 
Clarke (1983)). 站 


下 面 尝试 利用 式 (2.89) 计算 一 些 简单 的 非 凸 函数 的 次 微分 . 
@ 意思 是 在 空间 R” 中 使 得 了 不 可 微 的 点 的 集合 的 Lebesgue 测度 为 0. 
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例 2.25 (1) 例 2.19 中 的 函数 f:R 一 RR 在 z=0 处 的 B 次 微分 为 
08f(0) = { -1,0,2} 
于 是 可 得 其 次 微分 为 ( 见 例 2.21) 
af(0)= {teR|-1<¢<2} 
(2) 考虑 下 面 的 函数 1 : R? 一 R 在 = = 0 处 的 次 微分 : 
f(z) = min { max{z1,22}, z1 + z2} 


按 情形 分 析 可 得 f 的 如 下 表示 式 : 


Z1, zeE35l={zeR2|zl>zazz>0} 
f(z) = 4 7z2， TES ={rER?|z < z2, 71>0} 
T1+7z2, TESs={zER|z <0}U{r eR’|z < 0} 


显然 有 S1U S52U S53 = R2, 并 且 f 在 51,52, 5s 的 边界 上 不 可 微 , 即 Dj = int Si U 
int Sz Uint Ss 并 且 有 
(10)T，z eint 9) 
Vf(z)= 4 (0,1)7，zeint 52 
(1)T，z eint Ss 
由 于 0ebd Sinbd S52nbd 5s, 所 以 
Bef(0) = {or (0,1)7, (1,1)°} 
从 而 可 得 次 微分 的 表示 式 为 
Of(0) = co {(0r (0,1)7, GDT} 
= {(,8)T eR?|a< 1 6<1la+5> 1} 


利用 式 (2.89) 可 以 很 容易 地 将 关于 实 值 函 数 的 次 微分 定义 推广 到 向 量 值 函 数 . 
车 据 :R" 一 RR (i=1,… ,m) 为 局 部 Lipschitz 连续 函数 , 则 称 以 它们 为 分 量 的 向 
量 值 函数 下: Rn 一 Rm 为 局 部 Lipschitz 连续 . 由 Rademacher 定理 , 局 部 Lipschitz 
连续 的 向 量 值 函 数 也 是 几乎 处 处 可 微 的 . 与 实 值 函数 一 样 , 将 函数 下 可 微 的 点 = 
的 全 体 构成 的 集合 记 为 Dr. 对 任意 点 re Rn, F 的 B 次 微分 可 定义 如 下 : 


BnF(®) = { lim, VF(2)| lim 2 =%, {2*} € De} csRnxn 


2.11 非 凸 函数 的 次 梯度 .63 . 


其 中 VF(z*) 为 在 zt 处 的 Jacobi 矩阵 @. 利用 B 次 微分 可 定义 正在 zx 处 的 
(Clarke) 次 微分 为 
BF(z) = co pbF(z) 

并 称 集合 9F(z) 中 的 元 素 为 在 z 处 的 广义 Jacobi 矩阵 (generalized Jacobian 
matrix). 

例 2.26 考虑 如 下 向 量 值 函数 FF : R2 一 R2: 

a F(z) 到 max{z1, rT2} 
Bee 人 -( [oi + zl ) 

该 函数 琴 在 两 条 直线 zi 一 x2 = 0 与 zi +za = 0 上 不 可 微 , 而 在 其 他 点 处 的 Jacobi 
矩阵 为 


a 
EE 中 Zl 一 TIZ2 > 0, Ti 十 TZ2>0 


1 一 ! 
| | Z1 一 TIZ2 >0, zl 十 zz2<0 


0 -1 
上 :| XT1— 7x2 <0,7rz1+7rz2<0 


0 1 < > 
3 T1 一 IT2 0, 71 十 Z2 0 
因此 ， F 在 T=0 处 的 次 微分 可 表示 为 


ee 


定理 2.64 ”局 部 Lipschitz 连续 的 向 量 值 函数 F : Rn 一 Rm 与 其 各 个 分 量 
五 :Rn 一 R (i=1,… ,m) 的 次 微分 之 间 有 关系 式 


9F(z) S [BFi(z) … BFm(z)] (2.90) 


成 立 , 其 中 式 (2.90) 的 右 侧 表示 以 8Fi(z) 中 的 向 量 为 第 i 列 的 n x m 阶 和 矩阵 的 全 
体 构成 的 集合 . 
证 了 明 ”由 定理 2.63 以 及 8F(z) 的 定义 即 得 . 量 
例 2.26 中 的 函数 FF 的 分 量 函数 六 与 瑟 在 z= 0 处 的 次 微分 分 别 为 


an(0) =o{ (0), ee am(0)=co{ (1), (i 


中 如 2.6 节 中 的 脚注 所 述 ,一般 将 VF(z) 的 转 置 矩阵 称 为 Jacobi 和 矩阵, 但 本 书 中 将 VF(m) 称 为 
Jacobi 矩阵 . 
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所 以 式 (2.90) 中 的 等 号 成 立 . 然而 , 如 下 面 的 例子 所 示 , 式 (2.90) 中 的 等 号 一 般 并 
不 成 立 . 
例 2.27 ”考虑 如 下 向 量 值 函数 F : R? 一 R2: 


F(z) = | _ Co 


有 (z) |z1 一 za| 


该 函数 在 直线 zl - z2 = 0 上 不 可 微 , 而 在 其 他 点 处 的 Jacobi 矩阵 为 


1 1 
， 21 一 Z2 >0 
| ci 


VF(z) = oe 
1 21 一 22 <0 
1 


1 
因此 , F 在 xz =0 处 的 次 微分 可 表示 为 


co- 人 3] 1 
但 是 , 由 于 分 量 函 数 六 与 包 在 = = 0 处 的 次 微分 分 别 为 
0-o{(). 0) on0-o{(). 1) 
故 式 (2.90) 中 的 等 号 不 成 立 . 
2.12 点 集 映 射 


给 定 两 个 集合 X C Rn 与 UC Rr?. 将 U 中 的 名 个 点 ww 对 应 于 XX 的 某 个 
子 集 4(w) 的 映射 4 称 为 由 U 到 X 的 点 集 映射 (point-to-set mapping), 表示 为 
A:U 一 P(X) (图 2.24), 其 中 P(X) 表示 X 的 所 有 子 集 所 构成 的 集合 , 称 为 的 
畦 集 (power set). 点 集 映射 4:U 一 P(X) 的 图 像 (graph) 定义 为 


graph A= {(wz)T EU x X|z e A(u)} CR?xR" 


网 人 


图 2.24 点 集 映射 


xX 


2.12 点 集 映 射 .65. 


例 2.28 下 面 的 hi 与 42 均 为 由 R 到 R 的 点 集 映射 (图 2.25): 
0 te ug0 
{reRI0O<zrsg1/u)}, u>0 


Az(u) {zeR|l0gz<1), u<0 
岂 上 三 
? {zreR|lo0o<zr<u3+2)}, u>0 


图 2.25 点 集 映 射 与 半 连 续 性 


车 存在 点 如 eV 的 适当 邻 域 2 Cc U, 使 得 集合 出 ， 4(u) E 三 有 界 , 则 称 点 集 


映射 4:U 一 P(X) 在 均 附 近 为 一 致 有 界 Cnitommiy "bounded). 然而 , 即使 在 12 
中 的 每 个 点 wu 处 A(w) 均 有 界 , 该 映射 也 未 必 在 吉 附近 一 致 有 界 , 这 可 在 考虑 例 
2.28 中 的 映射 41 : R 一 P(R) 在 喜 =0 处 的 情形 时 得 到 验证 ， 显然, 若 集合 X 本 
身 为 有 界 集 , 则 4 :U 一 P(X) 在 任意 坪 e U 附近 均 为 一 致 有 界 . 

车 点 集 映射 4 : U 一 P(X) 在 点 五 e U 附近 一 致 有 界 ， 并 且 对 任意 满足 
ak 二 本 2 一 瑟 以 及 zke4ftuk) (k= 二 1,2,…) 的 点 列 {u*} CU 与 {2*}CX 均 
有 元 e A(T) 成 立 , 则 称 4 在 云 处 上 半 连 续 . 另外 , 若 对 任意 满足 wk 一 去 eEU 的 点 
列 {uw*} CU 及 满足 元 e 4( 了 ) 的 点 元 < 大, 均 存在 整数 io > 0 与 点 列 {ww*} CX， 
使 得 zk 一 元 且 zk e A(wu*) (k > ko) 成 立 , 则 称 4 在 均 处 下 半 连 续 @. 进一步 ， 
若 4 在 吉 处 既 为 上 半 连 续 , 又 为 下 半 连 续 , 则 称 其 在 去 处 连续 . 

称 图 像 为 闭 集 的 点 集 映 射 4 : U 一 P(X) 为 闭 映射 (closed mapping), 即 4 
为 闭 映 射 的 充 要 条 件 是 当 ak 一 五 zk 一 五 上 且 zke4auk) (k= 1,2,…) 时 有 
元 e 4(z) 成 立 . 因此 , 使 得 集合 U4 有 界 的 闭 映射 4 在 任意 uw Ee U 处 均 为 
上 半 连 续 的 . 

有 必要 将 点 集 映射 的 半 连 续 性 与 实 值 函数 的 半 连 续 性 ( 见 2.6 节 ) 明确 地 区 别 
开 来 . 事实 上 , 若 将 实 值 函数 f : Rn 一 R 看 成 是 由 A(w) = {f(w)} 定义 的 点 集 映 
射 4: Rn 一 P(R), 则 当 六 有 界 , 即 up. |f(w)| < +oc 时 , 4 的 上 半 连 续 性 与 下 半 


Q 下 半 连 续 性 的 定义 中 没 必 要 假定 一 致 有 界 性 . 
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连续 性 均 意味 着 f 的 连续 性 . 

例 2.29 ”考虑 例 2.28 中 的 点 集 映射 4; : R 一 P(R) (i=1,2). 41 在 u=0 
处 下 半 连 续 , 但 非 上 半 连 续 , 而 42 在 u = 0 处 上 半 连 续 , 但 非 下 半 连 续 . 此 外 , A1 
和 hz 均 在 u=0 以 外 的 点 处 连续 . 

如 下 面 的 引 理 所 示 , 上 半 连 续 的 点 集 映射 在 函数 值 只 含有 一 个 元 素 时 必 连 续 . 

引 理 2.5” 设 点 集 映射 4:U 一 P(X) 在 元 EU 处 上 半 连 续 . 若 A(T) = {EH})， 
则 4 在 去 处 连续 . 

证 明 假定 4 在 元 处 非 下 半 连 续 , 则 对 任意 满足 wx 一 二 及 zw* e A(u*) 的 
点 列 {ut} CU 与 {z*}CXX 均 有 


liminf llzk —E||>0 (2.91) 
大 一 oo 


成 立 . 由 于 4 在 二 附近 一 致 有 界 , 故 {zw*} 必 含有 收敛 子 列 . 记 二 为 其 任意 一 个 聚 

点 . 由 4 在 元 处 的 上 半 连 续 性 知 ze 4 全 ) 成 立 , 于 是 由 假设 条 件 可 得 去 = 至. 但 

由 式 (2.91) 有 名 关 到, 二 者 相 矛 盾 . 因此 , 4 在 鼠 处 下 半 连 续 . 轿 
给 定 函数 g; : R" xU 一 R (i=1,…,m). 由 


S(wW = {2 ER"|g(z,u) <0, i=1,. ,m} (2.92) 


定义 的 点 集 映射 5 :U 一 P(R") 在 最 优化 理论 中 起 着 重要 的 作用 . 

定理 2.65 ” 设 式 (2.92) 中 的 点 集 映射 5 :U 一 P(R") 在 吉 eEU 附近 一 致 有 
界 , 并 且 函 数 % : Rn x U 一 R (i=1,…,m) 在 Rn x {¥} 上 为 下 半 连 续 @, 则 5 
在 元 处 上 半 连 续 . 

证 明 ”对 任意 满足 ak 一 喜 的 点 列 {u*} CU, 欲 证 当 zk e S(u*) 且 zk 一 互 
时 有 五 € S( 吉 ) 成 立 . 事实 上 , 由 zk e 5S(w*) 知 


gi(z, uk) SO i=1,,m 
因此 , 对 任意 z, 由 g; 在 (zx, 忌 ) 处 的 下 半 连 续 性 可 得 
gi(E, T) < liminf gi(2*, uw) <0, i=l,..,m 


故 到 e S(T) 成 立 . 国 
由 定理 2.65, 对 给 定 的 下 半 连 续 函 数 g; : R" x U 一 R (i = 1,… ,m) 及 紧 集 
号 CR", 由 
S$(w =XN {ze Rn |gi(e,u) <0, i1=1,.… ,m} 


QD 这 里 指 作为 实 值 函 数 的 半 连 续 性 . 


2.12 点 集 映 射 .67 . 


定义 的 点 集 映 射 5 : U 一 P( 况 ) 在 任意 处 均 上 半 连 续 . 因此 , 当 限 定 变量 的 变 
化 范围 为 紧 集 时 ,通常 将 由 实 值 函数 的 不 等 式 定义 的 点 集 映射 视 为 上 半 连 续 来 考 
虑 不 会 有 什么 影响 , 但 相对 应 地 要 保证 式 (2.92) 中 的 点 集 映 射 5 的 下 半 连 续 性 就 
没有 这 么 容易 了 . 下 面 的 定理 说 明 , 对 于 g; 均 为 凸 函数 的 情形 , 在 3.3 节 中 介绍 的 
Slater 条 件 的 推广 条 件 以 及 一 致 有 界 性 的 假定 下 ，S 是 连续 的 . 

定理 2.66 ” 设 式 (2.92) 中 的 点 集 映射 5 :U 一 P(R") 在 五 er 附近 一 致 有 
界 , 而 函数 9; : R" xU 一 R (i=1,… ,m) 在 R" x {TT)} 上 连续 , 并 且 对 任意 固定 的 
wu EU 均 为 关于 z 的 凸 函数 . 若 存 在 z0 e Rn, 使 得 gi(zo, 坪 ) < 0 (i = 1 ,m), 
则 5 在 元 处 连续 . 

证 明 ”由 定理 2.65 知 ，S 为 上 半 连 续 . 为 了 证 明 下 半 连 续 性 , 任意 选取 满足 
tk 一 五 的 点 列 {u*} CU 及 点 二 Ee S(T). 若 9i( 远 可 <0 (i= 1,… ,m), 则 由 gi 
的 连续 性 , 显然 , 存在 点 列 {z*} 满足 zk e S(wu*) 及 zk 一 元. 以 下 假定 至 少 存在 一 
个 指标 i, 使 得 gi(E, 志 ) = 0. 定义 函数 g:R"xU 一 R 为 


g(z,u) = max {9:(z, 4) |i= 1,… ,m} 
则 由 定理 2.27 知 , g(, 4) : Rn 一 R 为 凸 函数 , 并 且 有 
S(u) = {= ER"|g(z,u) < o} 


另外 , 由 假设 知 , g(z, 志 ) = 0 成 立 . 对 任意 满足 0 < ak < 1 (k = 1,2,…) 的 数列 
{Qk}, 定义 点 列 {z*} 为 

zk 一 (1 一 Qk) 到 十 QkT! 
因 g(-,w*) 为 凸 函数 , 故 有 


9(2,u) < (1 — ax)g(F, ut) + akg(zoauh) 


成 立 . 令 
o = max {0, 9(m, ut)/[o(m,u*) — gw0, ut)]} 

则 由 g(z0, 坪 ) < 0, g(, 厂 ) = 0 以 及 9 的 连续 性 知 ak 一 0 (k 一 oo), 也 即 有 zk 一 互 
(k 一 00). 注意 到 当 大 充分 大 时 有 g(z*,w*) < 0, 也 即 zk e 5S(uk) 成 立 , 故 3 在 五 
处 下 半 连 续 . EE] 

下 面 的 例子 说 明 , 只 有 9 的 连续 性 并 不 能 保证 5 的 连续 性 . 

例 2.30 下面 的 函数 g:R" x U 一 R 均 为 连续 函数 : 

(1) 对 于 zeR 及 ueU=[-1,1]CR, 设 


g(z,ua) = z/(1 + 7) — wu/2 
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则 式 (2.92) 中 的 点 集 映射 9 可 表示 为 
{zeRlz<saufzeRI<zrl， 0<ugl 
SsS(u)=4 {zeRl|z<0), v=0 
{zeERIB<r goa), -ll<u<0 
其 中 = (1 一 VI 二 如)/w, 8B = (1+ VI 一 评 )/u. 该 映射 5 在 w=0 处 下 半 连 续 ， 


但 非 上 半 连 续 . 
(2) 对 于 zeR 及 ueU=R, 设 


-1l—u, <l 
g(Z,u) = 4 —u, l1<z<2 


-2-u, ZIZ>2 


则 式 (2.92) 中 的 点 集 映射 S 可 表示 为 


和， <—l 
S(u)= {zeR|—-vitugsrsg Vitu, -lgu<0 
{zeER|—-vVitugzrsgut+2}, vv>0 


该 映射 5 在 w= 0 处 上 半 连 续 , 但 非 下 半 连 续 . 


2.13 单调 映射 
给 定 由 R" 到 Rn 自身 的 点 集 映射 4 : Rn 一 P(R") 及 非 空 目 集 5 C Rn. 车 
TYES, EE AT), neE AY) S(T—Yy,é—n)20 (2.93) 


成 立 , 则 称 4 在 5 上 单调 (monotone). 若 
TYES, TAFY, EE Ar), ne AY) (2 -YE-n>0 (2.94) 
成 立 , 则 称 4 在 S$ 上 严格 单调 (strictly monotone). 另外 , 车 存在 常数 o > 0, 使 得 
TYyES, €€ Az), ne A(YV) T(r —y,€—n) 2 ol — yl (2.95) 


成 立 , 则 称 4 在 5 上 强 单调 (strongly monotone). 特别 地 , 当 5 = Rn 时 , 分 别 简 
单 地 称 4 为 单调 、 严 格 单调 、 强 单调 . 由 定义 显然 有 强 单调 性 蕴涵 严格 单调 性 , 而 
严格 单调 性 又 列 涵 单调 性 . 下 面 的 例子 说 明 , 当 n = 1 时 , 单调 映射 即 对 应 着 单调 
非 减 的 (广义 ) 实 值 函数 . 
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例 2.31 ”考虑 下 面 的 映射 4; : R 一 P(R) (it = 1,2,3) (图 2.26): 


[8 Ss<0 

_} (-oo1，z=0 
he)= {1}, 0<z<kl 

{z}, rr>1 

@, rr<0 

A2(7) = 9 (-o0,0], z=0 

{z?}, >0 

人 ， <0 

4a(z) = $4 (—o0,0], z=0 

{z}, >0 


映射 A1 单调 但 非 严 格 单调 , 映射 4 严格 单调 但 非 强 单调 , 映射 4s 为 强 单调 . 


图 2.26 当 n = 1 时 单调 、 严 格 单调 、 强 单调 映射 的 例子 


对 于 4 : R 一 P(R") 为 点 点 映射 , 即 对 任意 z <e R", 集合 4(z) 只 包含 
一 个 元 素 F(z) e Rn 的 情形 , 分 别 将 式 (2.93)~(2.95) 中 的 (z 一 y,é& -7) 换 成 
(人 一 纺 下 (z) 一 下 (y)) 即 可 得 到 映射 :Rm 一 R" 的 单调 性 、 严 格 单调 性 、 强 单调 
性 的 定义 . 

给 定 矩 阵 M e Rnxn 及 向 量 ge Rn, 定义 仿 射 :RR" 一 Rn 为 


F(z)=Mz+q 
其 中 矩阵 M 不 必 对 称 , 则 有 
(z—, F(z)— F(y)) = (2 —y,M(z—Y)) 


故 为 单调 (严格 单调 ) 映射 的 充 要 条 件 是 M 为 半 正 定 (正定 ) 矩阵 特别 地 
由 于 . 
-uMe -=(s-w3M+MT)(e-y)) 
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故 当 M 正定 时 , 对 称 矩 阵 3(M + MT) 也 正定 . 设 其 最 小 特征 值 为 v > 0, 于 是 有 


(2 -wu $M + Ms-y)) 20le -yl 


因此 , F 强 单调 . 这 说 明 对 于 仿 射 来 说 , 严格 单调 性 与 强 单调 性 是 等 价 的 . 

下 面 的 定理 描述 了 可 微 向 量 值 函数 下 : Rn -Rn 的 单调 性 与 Jacobi 矩阵 
VF(z) 之 间 的 关系 . 

定理 2.67 设 下 : R" 一 Rn 为 连续 可 微 的 向 量 值 函数 ，S Cc Rn 为 非 空 开 凸 
集 , 则 FF 在 5 上 单调 的 充 要 条 件 是 Jacobi 矩阵 VF(z) e Rnxn 对 任意 re 5 均 
为 半 正 定 . 而 F 在 S 上 严格 单调 的 充分 条 件 是 VF(z) 对 任意 z € 5 均 为 正定 . 
此 外 , 五 在 S 上 强 单调 的 充 要 条 件 是 存在 常数 o > 0 满足 


(d, VF(z)d) >elldl2，zeSdesRn (2.96) 


证 明 ”假设 存在 常数 o> 0, 使 得 式 (2.96) 成 立 , 则 由 式 (2.28), 对 任意 rz,ye 5 
均 有 下 式 成 立 ; 
1 
(F(z) - F(y),2—Y) = / (VF(rz+ (1—7)y)T(e —),2 — Yar 
> ollz — yl (2.97) 
因此 , F 在 S 上 强 单调 . 若 在 上 面 的 推导 中 置 v ~ 0, 则 可 证 得 当 VF(z) 在 S$ 上 
处 处 半 正定 时 , 正 在 5 上 必 单调 
车 严 强 单调 , 则 存在 。> 0, 使 得 对 任意 = e 5, d e Rn 及 充分 小 的 te RR 


均 有 
(F(z +td) — F(z),td) > ot*llall? 


成 立 . 再 由 
F(z +td)— F(z) =tVF(z)d + olt) 


可 得 
(VF(z)Td,d) + o(t?) > ot?llall? 


上 式 两 边 同时 除 以 t2, 并 令 t 一 0 可 得 
(d, VF(z)d) = (VF(z)Td,d) > olldll 


因此 , 式 (2.96) 成 立 . 当 FF 在 S 上 单调 时 , 只 需 在 上 面 的 推导 中 置 = 0 即 可 证 
得 VF(z) 的 半 正 定性 . 
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若 VE(z) 对 所 有 ze 5 均 正定 , 则 对 任意 满足 x 关 y 的 z,ye 5, 与 式 (2.97) 
同样 可 证 


1 
(全 (z) 一 下 (一 功 一 / (VEF(rz+(1-7iyirz-ayz-ay)dar>0 


成 立 , 因此 , FF 在 9 上 严格 单调 . 各 
然而 , 矩阵 VF(z) 处 处 正定 并 非 为 严格 单调 的 必要 条 件 . 例如 , 由 F(z) = 
z3 定义 的 映射 下: R 一 R 是 严格 单调 的 , 但 VF(0) = 0 显然 不 满足 正定 性 条 件 . 
将 任意 点 ze Rn 对 应 到 函数 f : Rn 一 (-co,+oeo] 的 次 微分 9f(z) 的 所 谓 
次 微分 映射 (subdifferential mapping) 是 在 最 优化 理论 中 起 着 重要 作用 的 点 集 映 射 . 
特别 地 , 如 下 面 的 定理 所 示 , 次 微分 映射 的 单调 性 与 函数 的 凸 性 之 间 存 在 着 密切 的 
联系 : 
定理 2.68 ”正常 凸 函数 f : Rn 一 (一 o0, 二 oo] 的 次 微分 映射 9f : Rn 一 P(Rn) 
为 单调 映射 . 车 /为 强 凸 函数 (严格 凸 函 数 ), 则 57 为 强 单调 (严格 单调 ) 映射 . 
证 阴 ”首先 假定 f 为 强 凸 函数 . 考虑 任意 满足 9f(z) 关 儿 及 8f(y) 关 2 的 点 
Z,Yy E dom f 以 及 任意 实数 a e (0,1). 由 强 凸 函数 的 定义 (2.35) 有 下 面 的 不 等 式 
成 立 : 


(Qo)z+oy)— fo)/at3o(l -oe -yl < fy) -f(z) (2.98) 
令 a 一 0, 则 由 定理 2.47, 对 任意 Ee 9f(z) 均 有 
(yo) + 3olz yl < f(y) -fta) 
成 立 . 同 理 , 对 任意 me 8f(y) 均 有 
(m2 -+30ls yl < f(z) — /f(y) 
成 立 . 上 述 两 个 不 等 式 相 加 即 得 
€—m2—Y)> ol -yl 


这 就 证 明了 9y 的 强 单调 性 . 

在 上 面 的 推导 中 置 c = 0 即 可 说 明 当 f 为 凸 函数 时 8f 单调 . 对 于 f 为 严格 
是 函数 的 情形 , 在 式 (2.98) 中 置 c = 0, 则 将 不 等 号 < 换 成 严格 不 等 号 < 后 的 结 
论 仍然 成 立 . 再 者 , 对 任意 a > 0 均 有 


[f((1— oa)z +ay)— f(z)]/o > (€,y — 7) 


成 立 , 并 且 在 a 一 0 时 的 极限 处 也 有 严格 不 等 号 成 立 . 于 是 利用 与 前 面 类 似 的 推导 
即 可 证 明 8f 的 严格 单调 性 . 加 
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2.14 习 题 


2.1 设 5,T C Rr 均 为 闭 集 , 并 且 5 为 紧 集 . 试 证 明 3S+7 为 闭 集 . 

2.2 在 习题 2.1 中 , 若 没有 紧 性 的 假设 , 则 S+T 未 必 是 闭 集 . 试 举例 说 明之 . 

2.3 试 证 明 对 任意 凸 集 5,T C Rn 与 任意 数 a,8 e R, a5 + BT 也 是 凸 集 . 

2.4 试 证 明 点 21,… ,zm E Rn 的 凸 包 与 这 些 点 的 凸 组 合 全 体 所 构成 的 集合 
是 一 致 的 . 

2.5 对 任意 集合 S C Rn, 试 证 明 co cl 5S C cl co 5 成 立 . 

2.6 试 证 明 两 个 锥 C, D C Rn 的 交集 C Nn D 及 并 集 C UD 均 为 锥 . 进一步 ， 
当 C 与 DD 均 为 凸 锥 时 , Cn 了 也 为 凸 锥 . 

2.7 锥 CC Rn 为 凸 锥 的 充 要 条 件 是 zeC 与 yEcC 草 涵 z+yEeC, 试 证 
明之 . 试 利用 该 结论 说 明 例 2.7 中 的 Cs 是 凸 锥 . 

2.8 非 空 集合 C Cc R" 为 凸 锥 的 充 要 条 件 是 当 m es C 且 y e C 时 , 对 任意 
入 >0 及 />0 均 有 》Xz+Hnyec 成 立 . 试 证 明之 . 

2.9 试 证 明定 理 2.23. 

2.10 函数 了 : Rn 一 R 为 凸 函 数 的 充 要 条 件 是 对 任意 z,y e R", 由 


_ FL-az+ag)，0o<sasl 
oo 否则 


定义 的 函数 9 : R 一 (一 00, 十 oc] 为 正常 凸 函 数 . 试 证 明之 . 
2.11 设 函 数 f : Rn 一 有 在 任意 点 x € Rn 沿 任意 方向 de Rn 均 存 在 方向 
导数 f(z; qd), 则 /为 凸 函数 的 充 要 条 件 是 


f(z+d)—fr)>f(r;d), reR",deR" 


成 立 . 试 证 明之 . 

2.12 试 证 明 例 2.10 中 的 函数 fi (i = 1,… ,6) 均 为 正常 凸 函数 . 

2.13 试 证 明定 理 2.40, 并 说 明 该 定理 的 逆 不 真 . 对 任意 a e R, 水 平 集 Sy(a) 
均 为 凸 集 的 函数 称 为 拟 凸 函数 (quasi-convex function)@. 试 举 出 拟 凸 但 非 凸 的 
函数 的 例子 . 

2.14 试 证 明 对 于 可 微 的 拟 凸 函数 1 : R" 一 及 有 


f(y) < f(z2) = (VI(z),y — 7) < 0 


成 立 . 
四 车 -为 氢 西 函数 , 则 称 f 为 所 四 函数 {quasi-concave function). 
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2.15 对 于 可 微 函数 j: Rn 一 RR, 若 
(Vf(z),y — 7) >0= f(y) > f(z) 


成 立 , 则 称 为 伪 凸 函数 (pseudo-convex functiom)@. 试 证 明 可 微 的 凸 函数 必 为 伪 
凸 函数 , 而 伪 凸 函数 必 为 拟 凸 函数 . 
2.16 对 于 包含 原点 0 e Rn 在 其 内 部 的 西 集 5 C Rn, 由 


ms(z) =inf {Me R|z/Me 5,\ >0} 


定义 的 函数 ms 称 为 5 的 Minkowski 函数 (Minkowski function). 试 证 明 函 数 ms 
为 处 处 取 有 限 值 的 正 齐 次 凸 函 数 . 

2.17 试验 证 例 2.12 中 的 函数 产 〈i = 1,… ,6) 分 别 为 例 2.10 中 的 函数 fi (i = 
1,… ,6) 的 共 轿 函数 , 其 中 在 fs 中 假设 a > 0, 而 在 fo 中 假设 4 > O. 

2.18 设 f: Rn 一 (-co,+oo] 为 正常 凸 函 数 , 并 且 x € dom f， 试 证 明 若 
98f(z) = 2, 则 存在 向 量 de Rn (|ldl| = 1), 使 得 f'(z; dj = 一 co. (提示 : 利用 定理 
2.47. ) 

2.19 讨论 下 面 的 点 集 映射 4 : R 一 P(R2) 在 4=0 处 的 连续 性 : 


AlW) = {2 eR?|z1+urs=0, 71=0,-1<z2 <1} 


2.20 给 定 函数 g; : R" 一 R (i = 1,… ,m). 定义 两 个 点 集 映射 5 : Rm 一 
P(Rn) 与 50:R"m 一 P(R") 如 下 : 
S(u) = {2 eR" |gi(z) <u, i=1,..,m} 
So(w) = {2 ER" |gi(z) <w, i=1,.…,m)} 
试 证 明 若 gi (i = 1,… ,m) 为 凸 函数 , 则 当 So(w) 了 关 2 时 有 clSo(u) = 5S(w) 成 立 . 
但 当 gi; (i = 1,… ,m) 为 拟 凸 函数 时 , 上 述 结论 不 一 定 成 立 , 试 举例 说 明之 . 


2.21 设 函数 f :R" 一 及 二 阶 连续 可 微 , 则 f 为 (严格 ) 凸 函 数 的 充 要 条 件 是 
Vf :Rm 一 R" 为 (严格 ) 单调 映射 . 试 证 明之 . 


Q@ 若 一 f 为 伪 是 函数 , 则 称 了 为 伪 思 函数 {pseudo-concave function). 
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本 章 主 要 讲述 非 线性 规划 问题 中 可 行 解 成 为 最 优 解 的 必要 条 件 与 充分 条 件 . 首 
先 , 将 在 3.1 节 中 定义 集合 的 切 锥 , 并 给 出 基于 切 锥 的 最 优 性 必要 条 件 . 其 次 , 将 在 
3.2 节 中 针对 不 等 式 约束 最 优化 问题 在 所 谓 约束 规范 的 假设 条 件 下 推导 出 最 具 代 
表意 义 的 最 优 性 必要 条 件 一 一 Karush-Kuhn-Tucker 条 件 (KKT 条 件 ). 3.3 节 将 
对 各 种 约束 规范 进行 讨论 和 比较 ，3.4 节 将 从 不 同 于 KKT 条 件 的 观点 出 发 给 出 
基于 Lagrange 函数 鞍点 的 最 优 性 条 件 . 而 3.5 节 将 利用 目标 函数 和 约束 函数 的 
Hesse 矩阵 来 考查 二 阶 最 优 性 条 件 . 3.6 节 将 介绍 关于 既 含 有 不 等 式 约束 , 也 含有 
等 式 约束 的 一 般 最 优化 问题 的 KKT 条 件 和 约束 规范 . 3.7 节 则 讲述 最 优 性 条 件 在 
含有 不 可 微 函数 的 最 优化 问题 上 的 推广 . 此 外 , 3.8 节 将 考查 以 对 称 矩 阵 为 变量 的 
所 谓 半 定 规划 问题 的 最 优 性 条 件 . 另外 , 在 研究 最 优化 问题 时 , 有 必要 调查 当 系 数 
发 生变 化 时 对 问题 的 最 优 解 会 产生 什么 样 的 影响 , 无 论 在 理论 方面 , 还 是 在 实际 应 
用 方面 , 这 都 是 非常 重要 的 . 基于 此 , 3.9 节 将 考虑 含有 参 变量 的 非 线性 规划 问题 ， 
并 研究 最 优 解 关于 参 变量 的 连续 性 ， 3.10 节 将 介绍 非 线性 规划 问题 的 灵敏 度 分 析 
方法 . 


3.1 切 锥 与 最 优 性 条 件 
对 于 给 定 的 函数 / : R" BR. 与 集合 9 C R", 考虑 如 下 最 优化 问题 


min f(z) 
st. ZES 


当 5 = Rn 时 , 问题 (3.1) 为 无 约束 最 优化 问题 . 除非 特别 声明 , 本 章 讨论 的 函数 仅 
限 取 有 限 值 的 实 值 函数 . 
给 定 可 行 解 元 e 5, 车 存在 s > 0, 使 得 


f(z) > f(z), z ESNB(T,e) (3.2) 


成 立 , 则 称 去 为 问题 (3.1) 的 局 部 最 优 解 (local optimal solution).， 进一步 , 若 在 
(3.2) 中 当 z2 关 至 时 总 有 f(z) > f(E) 成 立 , 则 称 到 为 严格 局 部 最 优 解 (strict local 
optimal solution). 此 外 , 车 存在 s > 0, 使 得 在 球 B(E,e) 内 不 存在 至 之 外 的 局 部 最 
优 解 , 则 称 去 为 孤立 局 部 最 优 解 (isolated local optimal solution). 虽然 多 数 情 况 下 


(3.1) 


3.1 切 锥 与 最 优 性 条 件 “75. 


严格 局 部 最 优 解 均 为 孤立 局 部 最 优 解 , 但 下 面 的 例 3.1 以 及 3.5 节 中 的 例 3.10 说 明 
严格 局 部 最 优 解 并 非 总 是 孤立 局 部 最 优 解 . 
例 3.1 在 问题 (3.1) 中 , 令 5 = R, 并 定义 函数 : R 一 R 如 下 : 


-各 十 2-2k+l， 2-2k < 2 < 2-2k+1, k=0,+t1,+2,... 


f(z)= 3 一 2- 2-2k-1 < < 2-2k, k= 0,+1,+2,.…. 


一 2 rr<0 


则 z = 2-2*-1(k = 0, 土 1, 士 2,…) 均 为 孤立 局 部 最 优 解 , 而 z = 0 为 严格 局 部 最 优 
解 (实际 上 是 全 局 最 优 解 ). 由 于 在 z = 0 的 任何 邻 域内 均 存 在 局 部 最 优 解 , 因此 ， 
它 不 是 孤立 局 部 最 优 解 ( 试 通过 描绘 该 函数 的 图 像 验 证 之 ). 

车 (3.2) 对 于 任意 e > 0 均 成 立 , 即 


f(z\> /3), rEeS (3.3) 


成 立 , 则 称 至 为 问题 (3.1) 的 全 局 最 优 解 (global optimal solution) 或 简称 为 最 优 解 . 
全 局 最 优 解 必 为 局 部 最 优 解 , 反之 则 不 然 . 但 是 , 如 下 面 的 定理 所 示 , 当 目 标 函 数 为 
凸 函 数 , 并 且 可 行 域 为 凸 集 时 , 其 逆 也 成 立 . 

定理 3.1 ” 设 在 问题 (3.1) 中 f : Rn 一 R 为 凸 函 数 , 而 5 C Rn 为 非 空 凸 集 ， 
则 问题 (3.1) 的 任意 局 部 最 优 解 均 为 全 局 最 优 解 , 并 且 全 体 最 优 解 的 集合 为 凸 集 . 

证 明 假设 re 5 为 局 部 最 优 解 ， 但 非 全 局 最 优 解 ， 则 存在 y e 5, 使 得 
f(y) < f(z) 成 立 . 由 于 5 是 凸 集 , 故 对 任意 a e (0,1) 均 有 (1-- ajz+ayeS. 又 
由 于 /为 凸 函数 , 故 


f(L-az+ay)s(1-o)fz)+af(y) < f(z) 


成 立 . 由 于 a > 0 可 以 任意 小 , 所 以 在 zx 的 任意 邻 域内 均 存 在 目标 函数 值 比 = 处 
的 目标 函数 值 更 小 的 可 行 解 , 这 与 x 为 局 部 最 优 解 矛 盾 . 

当 不 存在 最 优 解 时 , 由 于 空 集 也 是 凸 集 , 所 以 定理 的 后 半 部 分 显然 成 立 . 假设 
问题 存在 最 优 解 , 并 设 至 为 任意 一 个 最 优 解 , 则 最 优 解 的 集合 可 以 用 7 的 水 平 集 
表示 为 Sy{f(E)) n 5, 因此 , 定理 的 后 半 部 分 可 直接 由 定理 2.40 得 到 . 四 

定理 3.2 ” 设 在 问题 (3.1) 中 , f : Rn 一 R. 为 严格 凸 函 数 , 而 5 C Rn 为 非 空 
闭 凸 集 , 则 问题 (3.1) 至 多 存在 一 个 最 优 解 . 进一步 , 若 为 强 凸 函数 , 则 问题 (3.1) 
存在 唯一 最 优 解 . 

证 阴 问题 (3.1) 与 广义 实 值 函数 f+6s 在 R* 上 的 最 小 化 问题 等 价 , 并 且 当 
j 为 严格 凸 ( 强 凸 ) 函数 时 , f+ 5s 也 为 严格 凸 ( 强 凸 ) 函数 , 因此 , 由 定理 2.42 即 
得 结论 . 图 
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与 问题 (1.1) 类 似 , 当 约束 条 件 能 够 用 若干 不 等 式 或 等 式 来 表示 , 并 且 相 应 的 
约束 函数 分 别 为 凸 函数 或 线性 函数 , 也 即 问题 为 凸 规划 时 , 定理 3.1 中 的 假设 条 件 
必 成 立 ( 见 定理 2.40)， 然 而 , 非 凸 规划 问题 一 般 存在 多 个 局 部 最 优 解 , 因此 , 实际 
判断 全 局 最 优 解 非常 困难 , 故 对 于 没有 凸 性 假设 的 一 般 问 题 , 需要 重点 考虑 局 部 最 
优 解 . 

考虑 集合 5 C R" 中 的 一 点 五 . 若 存在 集合 5S 中 收敛 于 至 的 点 列 {zA} 及 非 
负数 列 {ak}, 使 得 点 列 {ak(z* 一 去 )} 收敛 于 y e R", 则 称 y 为 集合 5 在 点 至 处 
的 切 向 量 (tangent vector). 集合 5 在 点 至 处 的 全 体 切 向 量 构成 的 集合 记 为 Ts()， 
称 为 5S 在 点 去 处 的 切 锥 (tangent cone), 即 


Ts@)= 人 eR”| dm, ak(zk — EE) = y, im ok 一 五， 


mk E 5 ox >0, k=1,2,.……} (3.4) 


切 锥 Ts(E) 在 某 种 意义 上 可 以 看 成 是 集合 5 在 点 至 处 的 线性 近似 (图 3.1). 


SN 


TE) 


(b) 
3.1 切 锥 Ts(E) 的 例子 

引 理 3.1 ”对 于 任意 非 空 集合 5 Cc Rn 及 点 盏 € 5, Ts(E) 为 非 空 闭 锥 . 

证 明 ”由 定义 ,Ts(E) 显然 是 锥 . 另外 , 总 有 0 es Ts(z), 因此 , Ts(z) 关 儿 . 欲 证 
明 Ts 他) 是 闭 锥 , 只 需 证 明 当 {y'} S Ts(z) 且 lim y= 要 时 必 有 本 e Ts 人) 成 立即 
可 . 事实 上 , 对 任意 !, 由 于 tH € Ts(z), 则 由 切 锥 的 定义 知 , 存在 满足 dim, Dlk 一 五 
的 点 列 {z"*} S 3 以 及 非 负 数列 {Quk}, 使 得 im arx(z'x 一 至) = yi， 因 此, 对 
每 个 4, 均 存 在 k(1) 满足 llark(o (zk 一 吾 ) 一 哆 | < 11 及 zn* 虽 -到 | < 1 令 
zl = zikt0val = og); 则 lim 2 = 盏 且 lim ai(z! 一 薄 ) = 故 本 Ee Ts(z) 成 立 . 

国 
当 5 为 凸 集 时 , 切 锥 可 以 表示 成 下 面 引 理 中 的 形式 . 
引 理 3.2 设 95S Rn 为 非 空 凸 集 , 元 E 5. 令 


conelS 司 = {ye R"|y = 8(e 一 本， zeS8>0 SR 
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则 有 
Ts (元 ) = cl cone| 3, 可 (3.5) 


证 明 ”首先 证 明 Ts() C cl cone[S, 可 . 任 取 y e Ts(FE), 则 存在 点 列 {zx*} C5 
及 非 负 数列 {ax}, 使 得 im zk 一 五 且 Y1 = im ak(zk 一 王 ). 由 cone[5, 了 | 的 定义 
知 {ak(zk 一 至 )} C cone[5, 可 , 故 y E cl cone[S, 可 |. 

下 面 证 明 Ts(z) 2 cl cone[S, 友 .由 引 理 3.1 知 ,Ts(E) 为 闭 集 , 故 只 需 证 明 
3 E cone[S,z] 冀 涵 y e Ts(F) 即 可 . 若 y e cone[S, 可 , 则 由 定义 , 存在 ze5 及 
B > 0, 使 得 y = 6(z 一 五 ). 任 取 满足 人 一 十 oo 的 正 数列 {yi}, 并 定义 点 列 {2*} 为 
2k = 五 十 (Z 一 至 )/Yx, 则 im 2* = 五 且 = fryk(z* 一 到 )(k = 1,2,…). 由 于 3 为 
凸 集 , 故 存在 正 整数 ko, 使 得 zk e S(k > ko). 于 是 由 切 锥 的 定义 可 得 y e Ts( 可 ). 

LJ 

切 锥 的 极 锥 Ts(E)* 称 为 5 在 至 处 的 法 锥 (normal cone), 记 为 Ns(E), 也 即 


Ns(E) = {z eR"|(z,y) <0, ye Ts(z)} (3.6) 
当 5 为 凸 集 时 , 由 引 理 3.2, 法 锥 可 以 表示 为 
Ns(F) = {zeR"|(z,2 -5)<0, res} (3.7) 


属于 Ns(x) 的 向 量 称 为 5 在 至 处 的 法 向 量 . Ns(E) 必 为 非 空闲 同 锥 . 
下 面 的 定理 给 出 了 问题 (3.1) 的 最 基本 的 最 优 性 条 件 : 
定理 3.3” 设 函数 f :R" 一 RR 在 五 e 5 处 可 微 . 车 到 为 问题 (3.1) 的 局 部 最 
优 解 , 则 有 
—Vf(z) € Ns(z) {3.8) 
证 明 ” 任 取 ye Ts(z), 则 由 切 向 量 的 定义 , 存在 满足 zk e 5 与 zk 一 互 的 点 
列 {z*} 以 及 非 负数 列 {ak}, 使 得 ak(zk 一 到 ) 一 y. 由 于 了 在 五 处 可 微 , 故 


f(z*) — (5m) = (VI(E), 2* — T) + o(lz* — wl) (3.9) 
若 盏 为 局 部 最 优 解 , 则 当 大 充分 大 时 必 有 f(z*) > f(E) 成 立 , 于 是 由 式 (3.9) 可 得 


(llz* — zl) 


(7 加 ,ok(e 可)+ ral “le -可 >0 


令 大 一 oo 可 得 
(Vf(z),y) +0.:lyl|>0 
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也 即 (-Vf(z),y) < 0. 由 y € Ts(z) 人 
性 即 知 -Vf(E) € Ns(z). 

式 (3.8) 的 几何 意义 如 图 3.2 所 示 . i 
的 例子 说 明 式 (3.8) 只 是 去 为 问题 (3.1) 的 局 
部 最 优 解 的 必要 条 件 , 而 非 充分 条 件 . 满足 式 
(3.8) 的 点 称 为 问题 (3.1) 的 稳定 点 (stationary 

图 3.2 切 锥 与 最 优 性 条 件 point). 

例 3.2 ”在 问题 (3.1) 中 , 令 5 = {z € R?|z? -zo = 0},f(z) = 一 z2, 则 在 
点 瑟 = (0,0)7 处 有 Ts(z) = {y € R?|y2 = 0},Ns(z) = {z € R2|z = 0}. 由 于 
Vf(E) = (0, 一 1)T, 故去 满足 式 (3.8), 但 到 显然 不 是 该 问题 的 局 部 最 优 解 . 

定理 3.4 设 SC R" 为 非 空 闭 凸 集 , f : Rn 一 R 为 在 二 e 5 处 可 微 的 凸 函 
数 , 则 式 (3.8) 是 至 为 问题 (3.1) 的 全 局 最 优 解 的 充 要 条 件 . 

证 明 ”必要 性 由 定理 3.3 显然 , 而 充分 性 由 式 (3.7) 及 定理 2.29 即 得 . 国 

推论 3.1 设 和 集合 5 C Rn 的 内 部 非 空 , 并 且 函 数 f : Rn 一 R 在 点 二 € intS 
处 可 微 . 车 至 为 问题 (3.1) 的 局 部 最 优 解 , 则 必 有 Vf(E) = 0 成 立 . 进一步 , 若 f 
为 凸 函数 且 5 为 凸 集 , 则 Vf(E) = 0 是 至 为 问题 (3.1) 的 全 局 最 优 解 的 充 要 条 件 . 

证 明 ”由 于 当 至 € intS 时 Ts(z) = R", 这 意味 着 Ns(x) = {0}, 因此 , 式 (3.8) 
即 为 Vf(z) = 0. 国 


3.2 ”Karush-Kuhn-Tucker 条 件 


设 问题 (3.1) 的 可 行 域 5 可 由 函数 g; : Rn 一 R (i = 1,… ,m) 表示 为 如 下 
形式 : 
$= {zeR"|g(z) <o, in (3.10) 


此 时 问题 (3.1) 可 以 写成 
min f(z) 


st. gi(z)<0, i=1,..,m 


在 可 行 解 至 处 满足 g(x) = 0 的 约束 条 件 称 为 至 处 的 有 效 约束 (active constraint)， 
记 其 指标 集 为 T(z) = {ilgi(z) = 0} C {1,2,… ,m}. 

3.1 节 中 作为 集合 5 在 去 处 的 线性 近似 而 定义 了 切 锥 Ts(E). 当 5 可 以 表示 
成 (3.10) 的 形式 , 并 且 函 数 g; 均 在 到 处 可 微 时 , 还 可 以 考虑 如 下 线性 近似 ; 


Cs(E) = {y eR" |(Vgi(z),y) < 0,ie Z(z)} (3.12) 


(3.11) 
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即 Cs(E) 是 由 与 去 处 的 有 效 约束 函数 的 梯度 Vg;()(i e T(z)) 的 夹 角 均 在 90° 以 
上 的 向 量 构成 的 集合 . 显然 , Cs(E) 为 闭 凸 多 面 锥 (图 3.3). 称 Cs(z) 为 5 在 至 处 
的 线性 化 锥 (linearizing cone). 


a(z)=0 习 
S={z|g(z)<0,i=1,2,3} 
T(z)={1,3} 


图 3.3 有效 约束 与 线性 化 锥 Cs(z) 


切 锥 Ts(z) 可 由 5S 直接 定义 , 而 线性 化 锥 Cs(z) 则 依赖 于 描述 集合 5 的 函数 
9i 因此 , 如 下 面 的 例子 所 示 , 两 者 未 必 完 全 一 致 . 

例 3.3 令 95={zeRlr<s0,z=0, 则 有 TsG) = Cs(z)= {ye 了 及 | 
y < 0}. 若 将 集合 5 改写 成 S$ = {fz e 及 jz3 < 0}, 则 集合 5 的 形状 不 变 , 因此 ， 
Ts(z) = {y € RIy < 0}, 然而 , Cs(z) = R. 

虽然 Ts(E) = Cs(E) 不 一 定 成 立 , 但 包含 关系 Ts(E) C Cs(E) 却 总 是 成 立 的 . 

引 理 3.3 ”对 于 由 式 (3.10) 定义 的 非 空 集合 S Cc Rn 及 任意 一 点 元 5, 恒 有 
Ts(E) C Cs(E) 成 立 . 

证 明 设 ye 7s(z), 则 由 切 向 量 的 定义 , 存在 点 列 {2*} C S 及 非 负 数列 {ox} 
满足 zk 一 到 且 ak(zx 一 到) 一 y. 由 于 zk eS, 故 对 任意 i 均 有 


gi(2*) = gi(F) + (Vgi(z), 2* 一 到 十 ol 一 本) 和 0 k=1,2,..: 
特别 地 , 当 ie I(E) 时 有 gi(E) = 0. 因此 ， 
(Vgi(2),2* — TB) 十 ofllzk — Tl) < 0 k=1,2,.. 
左 侧 乘 以 ak, 并 令 尺 一 oo 可 得 
ak(Vgi(E), zk — TB) + ako(llzx 一 元 |) 


olllz* — i) 


={Vgi(B), ak(z* 一 匹 )) 十 = llax(z* — 3) — (Vgi(E),y) 
综 上 可 得 (Vgi(z),y) < 0(ie T(z)), 也 即 y < Cs 人 (五 ). a 


对 于 问题 (3.11), 由 
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Lo(z, 和 A) = | f(z)+ 2 9le), 入 >0 


一 oo， 入 关 0 


(3.13) 


定义 的 函数 Lo : Rntm 一 [一 00, 十 00) 称 为 Lagrange 函数 (Lagrangian function)， 
其 中 向 量 入 = (和 1,… ,和 Am) 人 TE Rm 称 为 Lagrange 乘 子 (Lagrange multiplier), 这 
里 当 入 关 0 时 定义 Lo(z, 入 ) = -oo 是 为 了 便于 在 第 4 章 中 定义 对 偶 问 题 . 
本 节 最 重要 的 结果 即 下 面 描述 问题 (3.11) 的 最 优 性 必要 条 件 的 定理 : 
定理 3.5 ” 设 至 为 问题 (3.11) 的 局 部 最 优 解 , 并 且 目标 函数 了 : Rnr 一 了 与 
约束 函数 g; : Rn 一 R(i = 1,… ,m) 均 在 元 处 可 微 : 车 Cs(E) C co Ts(z), 则 存在 
Lagrange 乘 子 Xe Rm 满足 
VeLo(z,N) = Vf(E) + ,NVgi(z) =0 
i=l1 
M20, g(x)<0 Mgi(z)=0, i=1,.,m 
证 明 因 色 为 局 部 最 优 解 , 由 定理 3.3 可 得 -Vf(z) es Ns(z). 由 于 Cs(z) C 
co Ts(B), 则 由 定理 2.12 有 


Cs(z)" 2 (co Ts(¥))* = Ts(5)" = Ns(¥) 


因此 有 -Vf(z) e Cs(z)". 由 Cs(zE) 的 定义 (3.12) 及 定理 2.15, 存在 X; > 0(i € 
T(z)) 满足 


(3.14) 


-VI(E) = 》 Xivgi(s) 


iET(E) 
令 入 = 0(ig 工 (E)) 即 得 式 (3.14). 国 
例 3.4 考虑 问题 
min  j(z) = 一 Z1 一 Z2 
st. 9gi(z)= 字 一 zz 和 0 
gz(z)=-ZIS0 
gs3(T)=72—-1<0 
该 问题 的 最 优 解 为 去 = (1, 1)T, 有 效 约束 指标 集 为 T(z) = {1,3}. 由 于 
Ts(¥) = Cs(¥) = {y ER?| 2y—y < 0, < o} 
故 有 Cs(z) S co Ts(E). 另外 , 由 于 
Vf(z) = (-1, -1)', Vg(z)= (2,-1)', Vgs(z) = (0,1)T 


取 入 = (1/2,0,3/2)7 即 有 式 (3.14) 成 立 (图 3.4). 
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图 3.4 Karush-Kuhn-Tucker 条 件 ( 例 3.4) 


式 (3.14) 一 般 称 为 Karush-Kuhn-Tucker 条 件 (Karush-Kuhn-Tucker condi- 
tions) 或 者 KKT 条 件 (KKT conditions)@. 该 条 件 是 至 为 问题 (3.11) 的 局 部 最 优 
解 的 必要 条 件 , 但 下 面 的 例子 说 明 它 并 不 是 充分 条 件 . 

例 3.5 考虑 问题 

min  j(z) = 一 Z2 
st， gli(z)= 一 zi+zz<k0 
g2(7)= 271+72—-1<0 
令 互 = (0,0)™, 则 T(x) = {1} 有 Ts(z) = Cs(z) = {y € R?| 加 < 0}, 因此 , 
Cs(ZE) S co Ts(B) 成 立 , 由 于 Vf(¥) = (0, 一 1)T, Vgi(z) = (0,1)T, 若 取 入 = (1,0)7T， 
则 式 (3.14) 成 立 , 但 至 并 不 是 该 问题 的 局 部 最 优 解 . 

KKT 条 件 (3.14) 说 明 , 在 局 部 最 优 解 元 处 目标 函数 的 梯度 Vf(E) 乘 以 -1 后 
得 到 的 向 量 包含 在 由 有 效 约束 函数 的 梯度 Vg;(z)(i e T(E)) 所 张 成 的 凸 多 面 锥 中 
(图 3.4). 特别 地 , 条 件 Xig;() = 0 表示 无 效 约束 对 应 的 Lagrange 乘 子 入 为 0, 称 
为 互补 性 条 件 (complementarity condition). 

定理 3.5 说 明 在 Cs(z) C co Ts(Fz) 的 假设 条 件 下 , KKT 条 件 是 问题 (3.11) 
的 最 优 性 必要 条 件 . 一 般 称 这 样 的 假设 条 件 为 约束 规范 (constraint qualification)， 
它 是 KKT 条 件 成 为 最 优 性 必要 条 件 不 可 或 缺 的 条 件 . 3.3 节 将 详细 介绍 各 种 约束 
规范 . 

下 面 的 定理 说 明 , 在 适当 的 凸 性 假设 下 , KKT 条 件 也 是 最 优 性 充分 条 件 . 

定理 3.6 ” 设 问题 (3.11) 的 目标 函数 f : Rn" 一 R 与 约束 函数 g; : Rn 一 RR 
(= 1,… ,m) 均 为 可 微 凸 函数 . 若 存在 元 e Rn 与 入 e Rnm 满足 式 (3.14), 则 互 为 
问题 (3.11) 的 全 局 最 优 解 . 

证 明 固定 入 , 并 定义 函数 4: Rn 一 R 如 下 : 


tlz) = flz) + 》 Xigitz) 
i=1 


外 有 时 也 称 为 Kuhn-Tucker 条 件 (Kuhn-Tucker conditions). 
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由 于 f 与 % 均 为 是 函数 且 入 > 0, 由 定理 2.26 知 , 4 也 为 凸 函数 . 式 (3.14) 说 明 
V4(z) = 0, 于 是 由 定理 3.4 的 推论 知 , 函数 4 在 到 处 取得 全 局 最 小 值 , 即 对 任意 
ZER" 均 有 i 
f(z) + 》 Migi(z) < f(z) + 》 Xigi(z) 
i=1 b=1 
成 立 . 由 于 和 igi(B) = 0(i = 1,… ,m) 且 入 > 0, 故 对 满足 gi(z) < 0(i= 1,… ,m) 
的 任意 > 均 有 f(x) < f(z), 因此 ,至 为 问题 (3.11) 的 全 局 最 优 解 . 
由 定理 3.5 和 定理 3.6 知 , 当 问 题 (3.11) 为 凸 规划 时 , 在 约束 规范 下 , KKT 条 
件 (3.14) 为 全 局 最 优 解 的 充 要 条 件 . 


3.3 约束 规范 


定理 3.5 证 明了 在 约束 规范 Cs(E) C co Ts(z) 下 KKT 条 件 为 最 优 性 必要 条 
件 . 本 节 将 介绍 约束 规范 的 作用 , 以 及 保证 KKT 条 件 为 最 优 性 必要 条 件 的 其 他 约 
束 规 范 , 然后 讨论 它们 之 间 的 关系 . 

首先 给 出 没有 约束 规范 的 情况 下 的 最 优 性 必要 条 件 . 

定理 3.7 设 点 到 为 问题 (3.11) 的 局 部 最 优 解 , 目标 函数 f : Rn 一 R 与 约束 
函数 gi : R" 一 R(i = 1,.… ,m) 均 在 至 处 可 微 , 则 存在 Xo, 和 1,… ,Xm 满足 


mm 
NVI(E)+ >, Vgi(z)=0 

t= 
gi(z) < 0, Mgi(z) =0,， i=1,.…,m (3.15) 
M0 i=0,1,.…,m 


os Taye Km)T # (0,0,..* ,0)™ 
证 明 ”为 简单 起 见 , 记 工 = I(5). 定义 集合 
Y= {yeR"|(vi(s),y) <0, (voi(z),y) <0 (ieT)} 


则 有 Y = g. 事实 上 , 车 存在 ye Y, 则 容易 证 明 当 a > 0 充分 小 时 , /(5+ ay) < 
f(@) 与 gi(5+ay) < 0 (i= 1,…,m) 均 成 立 , 这 与 至 为 局 部 最 优 解 巴 盾 . 现 定义 
凸 锥 CC Rn+l 如 下 : 

C={ (wo) eR™+ lyo + (VF(E),Y) < 0,vo + (V9i(z),y) < 0 (i e D)} 


= { (vo) ERn+l |((1, Vf(E)), (yo, y)™) < 0, ((1, Vgi(z))™, (yo, y)™) 
<0lie D} 
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由 于 Y = gg, 则 对 任意 (yo,y) es C 必 有 yo < 0, 因此 , ((1,0)™, (yw,y)T) = 
如 么 0((%,y)T es C), 这 说 明 (1,0)T e C*， 由 定理 2.15, 存在 和 (i € {0} UI) 
满足 
NoVvf(E) + NiVoi(z) =0 
iET 
H+ N=1l, N20 ie{0}UT 
1EI 
当 ig 工 时 , 令 入 =0, 则 和 ,和 1,… ,Am 满足 式 (3.15). 
式 (3.15) 称 为 Fritz John 条 件 (Fritz John conditions), KKT 条 件 (3.14) 可 
以 看 成 它 的 特殊 情形 ( 即 Xo > 0 的 情形 ). 实际 上 , 车 式 (3.15) 中 有 Xo > 0, 则 将 
(i = 0,1,… ,m) 换 成 和 /Xo 即 可 推出 KKT 条 件 (3.14). 为 了 弄 清 KKT 条 件 及 
Fritz John 条 件 与 约束 规范 的 关系 , 考虑 下 面 的 例子 : 
例 3.6 ”考虑 问题 
min f(z)=71-—72 
st. gi(z)= -z+r2 <0 
g2(7)=—z2 <0 
gs(z)=2Z1 一 1 和 0 
ga(z) 一 一 zi<0 


它 有 两 个 最 优 解 : (1,1)T e R2 与 (0,0)T7 e R2 (图 3.5). 


Va(ll) 一 VALID) 


Va(l,1) 


3.5 例 3.6 (图 中 对 梯度 的 长 度 作 了 适当 的 缩小 ) 


(1) 对 到 = (1,1) "有 工 (z) = {1,3}, Ts(¥) = Cs( 了 有) = {y € R?| -2 +y <0, 
胃 < 0}. 因此 , 若 取 入 = (1,0,1,0)T, 则 KKT 条 件 (3.14) 成 立 . 
(2) 对 到 = (0,0)T7 有 工 (z) = {1,2,4}, Ts(¥) = {y € R2l = 0, > 0}, 


(0, 1, 1,0,0)T 可 知 , Fritz John 条 件 (3.15) 成 立 . 
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例 3.6 (2) 说 明 , 虽然 当 约束 规范 Cs(E) C co Ts(z) 不 成 立时 有 Fritz John 条 
件 成 立 , 但 可 能 会 发 生 Xo = 0 的 情况 . 当 Xo = 0 时 , Fritz John 条 件 中 不 包含 目标 
函数 的 任何 信息 , 从 而 导致 Fritz John 条 件 对 于 任意 目标 函数 均 成 立 这 样 极 不 正常 
的 后 果 . 例如 , 考虑 含有 等 式 约束 h(z) = 0 的 问题 . 将 该 等 式 约束 转换 成 h(z) < 0 
与 -h(x) < 0 即 得 不 等 式 约束 问题 (3.11). 若 将 约束 条 件 h(z) < 0 与 -h(z)<0 
对 应 的 Lagrange 乘 子 均 取 为 1, 而 将 ho 与 其 他 Lagrange 乘 子 均 取 为 0, 则 Fritz 
John 条 件 在 任意 可 行 解 处 均 成 立 (并 且 与 目标 函数 无 关 ). 这 说 明 Fritz John 条 件 
只 有 在 Xo > 0 (也 即 它 能 够 变 为 KKT 条 件 ) 时 才 是 正常 的 最 优 性 条 件 . 能 够 保证 
这 一 点 的 必要 的 假定 条 件 就 是 约束 规范 . 

截至 目前 已 经 提出 了 各 种 约束 规范 . 对 于 只 包含 不 等 式 约束 的 问题 (3.11), 具 
有 代表 性 的 约束 规范 包括 以 下 几 种 : 

(1) 线性 独立 约束 规范 (linear independence constraint qualification): 向 量 组 
Vgi(z)(i e T(z\) 线性 无 关 ; 

(2) Slater 约束 规范 (Slater's constraint qualification): gi(i ce I()) 均 为 凸 函 
数 , 并 且 存 在 xz? 满足 gi(z0) < 0(i = 1,… ,m); 

(3) Cottle 约束 规范 (Cottle's constraint qualification): 存在 向 量 y e Rn 满 
足 (Vgi(z),y) < O(i € T(z)); 

(4) Abadie 约束 规范 (Abadie's constraint qualification): Cs(z) C Ts 人 (五 ); 

(5) Guignard 约束 规范 (Guignard's constraint qualification): Cs(E) C co Ts(z). 
最 后 的 Guignard 约束 规范 正 是 定理 3.5 中 所 假定 的 约束 规范 , 下 面 研 究 这 些 约束 
规范 之 间 的 关系 . 

首先 给 出 Cottle 约束 规范 的 等 价 形式 . 

引 理 3.4 ”Cottle 约束 规范 成 立 的 充 要 条 件 是 当 


> Nvgi(F)=0 (3.16) 
i€T(E) 

并 且 和 ; >0 (ieI(E)) 时 必 有 Xi = 0(ie 工 (z)). 

证 明 ” 先 证 必要 性 . 假设 Cottle 约束 规范 成 立 ， 如 果 式 (3.16) 成 立 且 Xi > 
0(i es ZI(E)), 但 存在 某 个 i, 使 得 X > 0. 此 时 Cottle 约束 规范 中 的 y 与 式 (3.16) 
的 左 侧 向 量 的 内 积 为 负 , 而 与 式 (3.16) 右 侧 的 内 积 为 零 , 二 者 相 矛 盾 . 

下 证 充分 性 ， 考 虑 其 逆 命 题 . 为 了 叙述 方便 起 见 ， 集 合 T(E) 的 元 素 个 数 记 为 
Zl, 以 Ai(i e T(E)) 为 分 量 的 向 量 记 为 Ar e RI7l, 而 以 Vgi(E)(i e 工 (元 )) 为 列 向 量 
的 nx |Z| 阶 矩 阵 记 为 Gr. Cottle 约束 规范 不 成 立意 味 着 集合 A = {z e RIZI|z = 
GIy, y e R"} 与 集合 B = {z € RZI|z < 0} 的 交集 为 空 集 , 从 而 由 定理 2.11 知 ， 
存在 超 平面 分 离 集合 4 与 集合 B, 也 即 存在 向 量 Xz <e RITI(Az 了 0), 使 得 
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(Xz,GTy) > (Mr,2), yeER",z<0 (3.17) 
由 于 不 等 式 (3.17) 的 左 侧 等 于 (GzrXz,y), 于 是 在 右 侧 令 向 量 z 无 限 接近 0 可 得 
(GrAr,y) >0, yER”" 


这 意味 着 下 式 成 立 : 
GrAr= 2, MVgi(z)=0 
iET(z) 

若 存 在 z < 0, 使 得 (Az,z) > 0, 则 由 于 对 任意 a > 0 均 有 az < 0, 于 是 式 (3.17) 
的 右 侧 可 以 任意 大 , 这 是 不 可 能 的 . 因此 , 对 所 有 z < 0 均 有 (Xz,z) < 0, 从 而 有 
Xr > 0. 由 于 Xz 关 0, 这 说 明 式 (3.16) 与 Xz > 0 不 能 蕴涵 Xz = 0, 于 是 逆 命 题 
得 证 . 国 
引 理 3.5 ”车 线 性 独立 约束 规范 或 Slater 约束 规范 成 立 , 则 Cottle 约束 规范 
也 成 立 . 

证 明 由 引 理 3.4, 显然 , 线性 独立 约束 规范 一 Cottle 约 京 规范 . 下 面 证 明 
Slater 约束 规范 = Cottle 约束 规范 . 设 z0 为 满足 Slater 约束 规范 的 点 ， 由 于 
gi(i E I()) 为 凸 函 数 , 由 定理 2.29 可 得 


{Vgi(E), 2" — FB) < gi(z0) -9i( 亏 < 0， ieZ(x) 


令 y =z 一 即 知 Cottle 约束 规范 成 立 . 

例 3.7 ”即使 线性 独立 约束 规范 或 Cottle 约束 规范 成 立 , 也 未 必 有 Slater 
东 规 范 成 立 . 这 是 由 于 前 两 个 约束 规范 中 并 没有 关于 函数 的 凸 性 假设 . 此 外 , 即使 
Slater 约束 规范 或 Cottle 约束 规范 成 立 , 也 未 必 有 线性 独立 约束 规范 成 立 . 例如 ， 
考虑 集合 5 = {z e R2|(z1 - 1)2+(za 一 1)2 一 2 < 0, 一 Zz1 < 0, 一 x2 < 0} 与 点 

= (0,0)T 即 得 反例 . 

引 理 3.6 ”车 Cottle 约束 规范 成 立 , 则 Abadie 约束 规范 也 成 立 . 车 Abadie 约 
束 规 范 成 立 , 则 Guignard 约束 规范 也 成 立 . 

证 了 明 Abadie 约束 规范 一 Guignard 约束 规范 是 显然 的 . 下 面 证 明 Cottle 约 
东 规 范 = Abadie 约束 规范 . 为 此 , 令 


Ca(z) = {ye R" | (voi(z),y) < 0, ie T(z)} 


则 Cottle 约束 规范 成 立意 味 着 C8(E) 了 @. 由 C3(F) 六 2 可 知 , clC8 (元 ) = Cs(z) 
成 立 . 由 于 Ts(FE) 为 闭 集 , 故 欲 证 明 Abadie 约束 规范 成 立 , 只 需 证 明 C93(z) C Ts(z) 
即 可 . 设 ye C3(E), 则 对 任意 ie T(z) 以 及 充分 小 的 8 > 0 总 有 


gi(F+ Doy) = gi(E) + (Vgi(F),y) + o(8) <0 
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成 立 . 而 当 i 4 工 (F) 时 , 由 gi 的 连续 性 , 当 8 > 0 充分 小 时 , gi( 十 By) < 0 i 
立 , 综 上 即 有 y € Ts(z). 

例 3.8 ”如 下 所 示 , 引 理 3.6 的 逆 未 必 成 立 : 

(1) 对 于 集合 9 = {Zz € R2 | 2z3 -x2 < 0, 一 十 Zz2 < 0} 与 点 盏 = (0,0)， 
Abadie 约束 规范 成 立 , 但 Cottle 约束 规范 不 成 立 . 

(2) 对 于 集合 3 = {z € R2|zizz < 0, -zl < 0, -za < 0} 与 点 到 = (0,0)7, 则 
有 Cs(z) = {ye R? | yi > 0, yz > 0}. 由 于 5 为 半 直 线 {z € R?|zi > 0, x2 = 0} 
与 {zeR2| zl = 0, zz > 0} 的 并 集 , 于 是 有 Ts(#z) = {y ER?| >0,y=0}U 
{y € R?| yi = 0, yz > 0}, 因此 , Abadie 约束 规范 不 成 立 . 然而 , 由 于 co Ts(F) = 
{yeE R2| yi > 0, yo > 0}, 故 Guignard 约束 规范 成 立 . 

3.6 综合 了 引 理 3.5 与 引 理 3.6 的 结果 . 


线性 独立 约束 规范 
Cottle 约束 规范 ) 之 人 Abadie 约束 规范 7) 一 (Guignard 约束 规范 
Slater 约束 规范 


图 3.6 不 等 式 约束 问题 的 约束 规范 之 间 的 关系 


定理 3.8” 设 至 为 问题 (3.11) 的 局 部 最 优 解 , 目标 函数 了 : Rn 一 R 与 约束 函 
数 gi : Rn 一 R(i = 1,… ,m) 均 在 至 处 可 微 . 车 线性 独立 约束 规范 、Slater 约束 规 
范 、Cottle 约束 规范 、Abadie 约束 规范 、Guignard 约束 规范 中 任意 之 一 成 立 , 则 存 
在 Lagrange 乘 子 Xe Rr 满足 KKT 条 件 (3.14). 

证 明 由 引 理 3.5 及 引 理 3.6, 只 需 考虑 Guignard 约束 规范 的 情形 即 可 , 而 这 
正 是 定理 3.5. 图 

在 引 理 3.5 与 引 理 3.6 中 考虑 的 5 个 约束 规范 中 , Guignard 约束 规范 是 最 弱 的 
条 件 . 虽然 到 目前 为 止 也 提出 过 其 但 一 些 约束 规范 , 但 已 经 证 明 不 存在 比 Guignard 
约束 规范 更 弱 的 约束 规范 . 因此 , 从 理论 上 来 讲 ，Guignard 约束 规范 是 最 好 的 . 但 
遗憾 的 是 该 约束 规范 对 于 实际 问题 不 太 容易 验证 , 因此 , 并 不 实用 . 有 鉴于 此 , 在 
实际 中 较 易 验 证 的 线性 独立 约束 规范 、Slater 约束 规范 、Cottle 约束 规范 使 用 得 比 
较 多 . 进一步 , 如 下 面 的 定理 所 示 , 线性 独立 约束 规范 、Cottle 约束 规范 能 够 保证 
Lagrange 乘 子 具 有 较 好 的 性 质 . 

定理 3.9 ” 设 至 为 问题 (3.11) 的 局 部 最 优 解 , 目标 函数 f : Rn 一 R 与 约束 
函数 g; : Rn 一 Ri = 1,… ,m) 均 在 至 处 可 微 . 若 线 性 独立 约束 规范 成 立 , 则 满足 
KKT 条 件 (3.14) 的 Lagrange 乘 子 Xe Rm 是 唯一 存在 的 . 若 Cottle 约束 规范 成 
立 , 则 满足 KKT 条 件 (3.14) 的 Lagrange 乘 子 Ae Rm 的 集合 为 有 界 集 . 

证 阴 由 定理 3.8 知 , 存在 Lagrange 乘 子 入 满足 KKT 条 件 (3.14), 并 且 当 
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igI(E) 时 有 Xi = 0, 而 当 ie 工 (x) 时 有 


Vf(E)+ > Nvgi(z)=0 (3.18) 
iET(E) 
车 Vg;(E)(i € T(z)) 线性 无 关 , 则 满足 (3.18) 的 和 (i e T(E)) 显然 是 唯一 的 . 下 面 
假定 Cottle 约束 规范 成 立 , 并 记 满 足 (3.18) 的 Az 的 集合 为 AC RI7l, 其 中 Xz 表 
示 以 Xi(i e Z(E)) 为 分 量 的 向 量 ， 下 面 假设 存在 点 列 {X*} Cc A 满足 牙 >0 及 
| 一 +oo, 然后 推出 矛盾 . 在 (3.18) 中 代入 Xz = 区， 然后 两 侧 同时 除 以 |， 
并 考虑 当 大 一 co 时 的 极限 . 由 于 点 列 {Xz/|IXz 人 有 界 , 所 以 存在 收敛 子 列 , 设 其 
聚 点 为 Az. 由 式 (3.18) 可 得 
> MVgi(z) =0 


iET(E) 


注意 到 Xr > 0 且 | 和 zl| = 1 成 立 . 由 引 理 3.4, 这 与 Cottle 约束 规范 相 矛盾 ， 。 国 


3.4 鞍点 定理 


本 节 以 问题 (3.11) 中 目标 函数 f 与 约束 函数 gi(i = 1,.… ,m) 的 凸 性 假设 取 
代 前 面 关于 这 些 函数 的 可 微 性 假设 , 并 利用 Lagrange 函数 的 鞍点 推导 出 关于 问题 
(3.11) 的 最 优 性 条 件 . 该 条 件 在 函数 可 微 的 假设 条 件 下 与 3.2 节 中 得 到 的 KKT 条 
件 是 等 价 的 . 

考虑 由 式 (3.13) 定义 的 Lagrange 函数 Fo : R"+m 一 [-oo,+ool， 车 存在 
EER" 与 eR"™ 满足 


Lo(E,A) < Lo(z, MN) < Lo(z,X), zeER",AER™ (3.19) 


则 称 (E, 入 Te R"+m 为 Lo 的 鞍点 (saddle poirnit). 式 (3.19) 意味 着 , 若 固定 z 为 
E, 则 关于 入 的 函数 Lo(B, 入 ) 在 入 = X 处 达到 最 大 ; 而 若 固定 和 为 , 则 关于 z 的 
函数 Lo(z, 入 ) 在 xz = 处 达到 最 小 . 

下 面 的 定理 利用 Lagrange 函数 的 鞍点 刻画 了 凸 规划 问题 的 最 优 性 条 件 , 称 为 
鞍点 定理 (saddle point theorem). 

定理 3.10 ” 设 问 题 (3.11) 中 的 目标 函数 f : Rn 一 R 与 约束 函数 gi : Rn 一 
R(i = 1,… ,m) 均 为 凸 函 数 , 并 且 存 在 z0 满足 gi(z0) < 0(i = 1 … ,m) ( 即 Slater 
约束 规范 成 立 ), 则 至 s R" 为 最 优 解 的 充 要 条 件 是 存在 入 > 0, 使 得 (元 ,和 )T e 
R"tm 为 Lagrange 函数 Lo 的 鞍点 . 

证 明 ”首先 证 明 充 分 性 . 假设 (x, 入 7 <e Rn+m 为 Lagrange 函数 Lo 的 鞍点 . 
由 式 (3.13) 与 式 (3.19) 可 得 如 下 不 等 式 : 
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a < 和 Xe 入 >0 (3.20) 
这 1 i=1 

f(z) + DXigi(z) < f(z) + Nigi(z), rz ER" (3.21) 
i=l i=l 


由 式 (3.20) 易 知 gi(E) < 0(i = 1,… ,m), 并 且 当 gi(z) < 0 时 有 和 = 0. 因此 ， 
A 和 igi(E) = 0(i = 1,… ,m) 成 立 . 再 由 式 (3.21) 知 , 当 z 满足 gi(z) < 0 (i= 1,… ,m) 
时 有 f(E) < f(z) 成 立 , 即 到 为 问题 (3.11) 的 最 优 解 四 . 

下 面 证 明 必要 性 . 分 别 定义 Rmt+i 的 子 集 4 与 B 如 下 : 


A={(z0,2)T ER™+! |zo > f(2), zi > gi(7), i = 1, ,m, 2 ER")} 
B={(20,2)T ER™t! |z0 < f(3), zi < 0, i= 1,..: ,m} 


其 中 z= (z1,… ,zm)T. 设 至 为 (全 局 ) 最 优 解 , 则 A4n B= (图 3.7). 由 于 f 与 
gi (i 二 1,… ,m) 均 为 凸 函数 , 故 4 为 凸 集 , 而 B 显然 也 是 凸 集 . 于 是 由 分 离 定 理 
2.11, 存在 向 量 (Xo, A)7 = (Xo, Xi ,Xm)T 关 0€ Rnmt+l 使 得 


Mozo 十 (入 ,z) > Mzd + {MN,z), (20,2)T € Ah, (zh,z) EB (3.22) 


由 B 的 定义 知 , z 和 zx' 的 分 量 可 以 任意 小 , 因此 , 只 有 当 X >0 且 入 > 0 时 , 式 
(3.22) 才能 成 立 . 


图 3.7 定理 3.10 的 证 明 中 的 集合 4 与 BB 


任 取 ZER" 及 e> 0, 并 令 (z0, 2)T 人 (f(2), 91(2),. 日 gm(z))T， (20, 2')T 更 
(f(E) -es -5 ,一 Ee) 人 , 则 由 集合 4 与 B 的 定义 知 (zo,z)T € Ah, (*%,z')TE B, 从 
而 由 式 (3.22) 有 


Nf (2) + > ,Xigi(z) > Nf(E) —e DN 
il i=0 


@@ 充分 性 的 证 明 中 并 不 要 求 凸 性 和 约束 规范 等 条 件 . 
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成 立 . 由 se > 0 的 任意 性 可 得 
Kof (2) + > Xigi(z) > Nf (本 ) (3.23) 


i=l 


假定 = 0, 则 对 任意 = 均 有 
六 oa) 20 
i=1 


但 由 入 > 0, 入 关 0 以 及 Slater 约束 规范 的 假设 知 , 该 不 等 式 不 可 能 成 立 , 故 必 有 
Xo > 0. 不 失 一 般 性 , 可 假设 Xo = 1, 则 式 (3.23) 即 为 


f(z) + 》 Xigi(z) > f(u) (3.24) 


令 z = 五 可 得 2》 Xigi 人 ( 瑟 ) >0. 由 于 X>0 且 9%( 坞 ) 和 0, 所 以 有 


til 
入 Xe) =0 (3.25) 
i=1 
进而 由 式 (3.24) 及 式 (3.25) 得 到 


jf(z)+》 Ngi(z) > f(E)+ DNigi(z), ZER” 
t=1 1 一 1 
此 即 (3.19) 中 的 右 侧 不 等 式 . 
下 面 证 明 (3.19) 中 的 左 侧 不 等 式 . 当 入 关 0 时 , 由 Lo 的 定义 (3.13), 结论 显然 
成 立 . 下 设 入 > 0, 则 由 gi(z) < 0 及 式 (3.25) 有 


DNgi(z) < 0= 》 Xi 人 本) 
i=1 ti=1 
因此 , (3.19) 的 左 侧 不 等 式 


f(z)+ >》 Ngi(z) < (本 十 》 higi(z), A>0 
i=1 i=1 
成 立 . 综 上 可 知 , (元 ,入 )T 为 Lagrange 函数 Lo 的 鞍点 . 四 
对 于 可 微 凸 规划 问题 , 由 定理 3.10 可 得 KKT 条 件 和 鞍点 条 件 的 等 价 性 . 
推论 3.2 设 问题 (3.11) 满足 定理 3.10 的 条 件 , 并 且 函 数 了 与 gi(i= 1 …… ,m) 
均 可 微 , 则 元 ER 和 入 e Rm 满足 KKT 条 件 (3.14) 的 充 要 条 件 是 (元 ,入 )T e Rn+m 
为 Lagrange 函数 Lo 的 鞍点 . 
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3.5 二 阶 最 优 性 条 件 


本 节 考 查 问题 (3.11) 的 二 阶 最 优 性 条 件 (second-order optimality conditions)， 
也 即使 用 目标 函数 和 约束 函数 的 二 阶 微分 来 刻画 的 最 优 性 条 件 . 本 节 中 起 重要 作用 
的 将 是 Lagrange 函数 Lo 在 z 处 的 Hesse 矩阵 


V2Lo(z, MA) = V2F(z) 十 3 MV2gi(z) 
i=1 


对 应 地 , 由 于 KKT 条 件 和 Fritz John 条 件 均 由 一 阶 微分 来 刻画 , 所 以 称 为 一 阶 最 
优 性 条 件 (first-order optimality conditions). 

考虑 二 阶 最 优 性 条 件 时 一 般 均 以 一 阶 最 优 性 条 件 成 立 为 前 提 , 故此 以 下 假定 
五 E R" 及 入 Ee Rm 满足 KKT 条 件 (3.14). 点 豆 处 的 有 效 约 束 指标 集 记 为 工 = 
{i|gi(z) = 0}, 并 利用 Lagrange 乘 子 入 定义 指标 集 工 = {i| 和 > 0}, 则 由 KKT 条 
件 (3.14) 的 互补 性 条 件 和 ig;(E) = 0(i = 1,.… ,mm) 知 包含 关系 了 CI 恒 成 立 . 特别 
地 , 当 王 = 工时 , 称 严格 互补 性 (strict complementarity) 条 件 成 立 . 严格 互补 性 条 
件 意味 着 对 每 个 i= 1,… ,m, 均 有 gi(z) = 0 < Xi 或 者 gi(z) < 0 = 和 成 立 . 

利用 指标 集 了 定义 问题 (3.11) 的 可 行 域 S = {z € R"|gi(z) < 0i= 1 ,m} 
的 子 集 为 

§= Sn {zeR"|g(s)=0,iez} 


并 记 集 合 5 在 至 处 的 切 欠 为 Ta(5). 另 一 方面 , 由 
Cs(®) = {vy eR"|(voi(z),y) =0, ie, (vgi(z),y) <0,ieT, ig7} 


定义 的 闭 凸 多 面 锥 Cs(E) 为 5 在 至 处 的 线性 化 锥 Cs(x) = {y € Rn | (Vgi(z),y) < 
0, i EI} 的 子 集 . 特别 地 , 当 严 格 互补 性 条 件 成 立时 , Cs(E) 为 线性 子 空间 . 

在 上 述 准备 的 基础 上 可 描述 二 阶 必要 性 条 件 (second-order necessary condi- 
tions) 如 下 : 

定理 3.11 设 元 Rn 为 问题 (3.11) 的 局 部 最 优 解 , 入 e Rm 为 满足 KKT 条 
件 (3.14) 的 Lagrange 乘 子 , 目标 函数 f : Rn 一 R 与 约束 函数 g; : Rn 一 R(i = 
1,… ,m) 均 在 至 处 二 阶 可 微 . 车 Cs(E) C Ts(E), 则 有 如 下 不 等 式 成 立 : 


(y, V2Lo(E, A)y) > 0, y € Cs(lz) (3.26) 


证 明 ” 任 取 向 量 y e Cs(z), 则 由 Cs(E) C Ts(z) 知 y € Ts(z)， 由 切 锥 的 定 
义 , 存在 点 列 {2*} C 5 及 非 负 数列 {ak}, 使 得 ax(z* 一) 一 y 且 zk 一 到. 由 假 
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设 知 , Fo(,A) : R" 一 R 在 至 处 二 阶 可 微 , 故 有 
Lo(z*, X) = Lo(E, X) + (VaLo(E, X), 2* 一 动 
+3(2* ~B, V2Lol®, D2* 一 司 ) + ollle* —B|") (3.27) 


由 zkeS 知 gi(zk) = 0(iEZ). 又 因为 X==0(igZ), 故 和 igi(z*)=0(i= 1,:… ,m)， 
于 是 入 
Lo(z*, 和 ) = f(z*) + >》 Ngi(z*) = f(z*) 
i=1 
此 外 , 由 式 (3.14) 知 , VeZo( 元 ,入 ) = 0 且 和 igi(z) = 0(i = 1,… ,m). 综 上 所 述 , 式 
(3.27) 变 成 


(et) = f(5) + 3(2* —B, V2Lol, D(a -5)) +olllsr — Bl)") (3.28) 
由 zh ES 及 zx 一 互 知 , 当 上 充分 大 时 有 f(z*) > (5) 成 立 . 因此 ,由 式 (3.28) 知 
3 一 还 YIo(, (ze 一 司 )+odlze 一 zl) >0 
对 充分 大 的 均 成 立 . 两 侧 同 时 乘 以 2o%, 并 令 上- oo, 则 由 ax(zx- 司 一 可 得 
(y, V2Lo(z, Wy) > 0 


即 不 等 式 (3.26) 成 立 . 

定理 3.11 中 假定 Cs(z) S Ts(z) 成 立 . 由 于 Cs(z) 可 看 成 集合 5 在 互 这 
的 线性 化 锥 ， 因 此 ， 该 假定 相当 于 将 可 行 域 限制 为 5 时 的 Abadie 约束 规范 . 然 
而 , 下 面 的 例子 表明 这 个 假定 与 关于 KKT 条 件 的 约束 规范 (如 Abadie 约束 规范 
Cs(z) C Ts(E)) 一 般 来 说 没有 关系 . 

例 3.9 考虑 问题 


min f(z)=72 
st. gq(z)=7—z3<0 


g(z) = - 码 一 (zz 二 12+1<0 


其 最 优 解 为 去 = (0,0)T, 并 且 Vol( 坞 ) = (0,0)T, Vg2(E) = (0, 一 2)T. 由 于 工 = {1,2}, 
所 以 Cs(E) = Ts(z) = {y € R?|y2z > 0}, 因此 , Abadie 约束 规范 Cs(F) C Ts 人 了) 
成 立 ， 另 一 方面 , 满足 KKT 条 件 的 Lagrange 乘 子 可 表示 成 A = (oa,1/2)T, 其 
中 a 为 任意 非 负 实数 , 故 有 了 = {2} 或 者 工 = {1,2}， 由 于 在 任何 情况 下 均 有 
$={reR’?|z=0}, Ts(z)= {ye R?|y= 0},Cs(z) = {ye R?|y, = 0}, 因此 ， 
Cs(F) C Ts(z) 不 成 立 . 
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与 例 3.9 结论 相反 , 也 存在 Cs(z) C Ts(z) 成 立 , 但 Cs(z) C Ts(FE) 不 成 立 
的 例子 (见习 题 3.7), 为 了 有 别 于 KKT 条 件 的 约束 规范 , 称 前 者 为 二 阶 约束 规范 
(second-order constraint qualification). 虽然 二 阶 约束 规范 的 实际 验证 并 不 容易 , 但 
如 下 面 的 定理 所 示 , 当 3.3 节 中 讲述 的 线性 独立 约 东 规范 成 立时 二 阶 约束 规范 也 成 
立 . 这 表明 线性 独立 约束 规范 不 仅 容易 验证 , 而 且 还 具有 既 适 用 于 一 阶 必要 性 条 件 ， 
又 适用 于 二 阶 必要 性 条 件 的 良好 性 质 . 

定理 3.12 ” 设 函 数 g; : Rn 一 R(i = 1,……,m) 在 点 至 处 连续 可 微 . 若 
Vgi(E)(i e 了 I) 线性 无 关 , 则 Cs(E) C Ts(zE) 成 立 . 

证 明 ”只 需 证 明 对 任意 ye Cs(E) 均 存 在 曲线 z(-) : R 一 Rn 及 常数 5 > 0， 
使 得 z(0) = 元, z'(0) = yD, 并 且 z(9) e 5(9 e [0, 避 ). 事实 上 , 车 该 结论 成 立 , 则 对 
于 满足 9 一 0 的 正 数列 {04}, 只 需 令 zk = z(pk) 及 ak = 1/6k, 即 有 zk 一 互 且 
Qk(Z* 一 互 ) 一 9 成 立 , 从 而 可 证 得 y e Ts (五 ). 

设 ye Cs 本. 令 了 HD = {i€ 工 |(Vgi(z),y) = 0}, 则 由 Cs(z) 的 定义 有 
了 CcC To. 记 Vgi(z)(i e 五 ) 为 列 向 量 的 nx |Zo| 阶 矩 阵 为 G(z), 则 由 五 的 定义 
可 得 G(z)Ty = 0. 由 Vgi(z)(i € Z) 的 线性 无 关 性 、Vg;(.) 的 连续 性 以 及 五 E 工 
知 , 当 ||z 一 到 | 充分 小 时 , 矩阵 G(z)TG(z) 可 逆 , 于 是 可 定义 nxn 阶 矩 阵 已 (z)@ 
如 下 : 

P(x) = 工 - G(r)[G(z)" G(r)] G(r)™ 
显然 有 P(z)y = y 成 立 . 考虑 微分 方程 
z'(9) = P(z2(0))y, z(0) = 


该 微分 方程 存在 解 2(9)(9 s [0, 绰 ), 其 中 5 > 0. 下 面 证 明 xz(9) 即 为 所 求 . 

由 定义 显然 有 z(0) = 至 及 z'(0) = P(z)y = y, 因此 , 只 需 说 明 当 9 > 0 充分 小 
时 z(9) e 5 即 可 . 由 于 当 ig 工 时 有 g(x) < 0, 所 以 , 当 9 充分 小 时 有 gi(z2(9)) < 0 
成 立 . 当 iEI 且 iq To 时, gi(F) =0 且 (Vgi(z),y) < 0, 因此 , 当 9 充分 小 时 仍 有 
gi(z(9)) < 0 成 立 . 最 后 , 当 ie Zo 时 , 由 中 值 定理 2.19, 存在 re (0,1), 使 得 


gi(2(0)) =9:(2(0)) + 0 (eo) 
=gi(FE)+0O(Vgi(z(7O0)), 2'(70)) 
zl'(rg) = P(z(70))y 与 Vgi(z(70)) 正 交 , 故 gi(z(9)) = 0. 由 于 工 G Tn, 综合 上 
面 的 讨论 即 知 , 当 9 > 0 充分 小 时 必 有 zx(9) € 5. 国 
@ 2'(9) 表示 向 量 (z1(0),… ,zh(6))T € Rn. 


四 对 任意 ze Rn, 已 (z)z 包含 于 由 Vgi(w)(i e To) 张 成 的 线性 子 空间 的 正 交 补 空间 M 内 . 称 矩 
阵 P(zw) 为 到 线性 子 空间 M 上 的 投影 矩阵 (projection matrix). 
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下 面 考虑 二 阶 充分 性 条 件 (second-order sufficient conditions)， 由 于 没有 定理 
3.6 中 那样 关于 函数 的 凸 性 假设 , 所 以 下 面 所 得 到 的 结论 仅 是 局 部 的 . 但 是 该 充分 
性 条 件 在 讨论 计算 最 优 解 的 数值 算法 时 常常 起 着 重要 的 作用 . 
定理 3.13 ” 设 问 题 (3.11) 的 目标 函数 f : Rn 一 R 与 约束 函数 g; : Rn 一 
RU = 1,… ,m) 均 在 Fe R" 处 二 阶 可 微 . 若 至 与 入 e Rm 满足 KKT 条 件 (3.14)， 
并 且 有 
(y, VSLo(E, Ny) > 0, yeCs(z),y#0 (3.29) 
成 立 , 则 至 为 问题 (3.11) 的 严格 局 部 最 优 解 . 
证 阴 ”假设 至 不 是 严格 局 部 最 优 解 , 则 存在 点 列 {z*} C 5S\ {EH}, 使 得 zk 一 到 
且 f(z2*) < f(z)(k = 1,2,.…). 令 Qk = | ll, = (2* /Ok, 由 于 || = 1, 
所 以 {y*} 存在 收敛 子 列 , 并 且 其 每 个 聚 点 y 均 满 足 |ly|| = 1. 不 失 一 般 性 , 假定 
太一 V 在 f(z*) 一 f(F)< 0 与 gi(z*) 一 gi(z) < 0(ie 了) 的 两 侧 同 时 乘 以 51, 并 
令 大 一 oo 可 得 
(Vf(z),y) <0, (Vgi(z),y) <0, ieT 


假定 存在 i Ee 了 (C 工 ), 使 得 (Vgi(z),y) < 0, 则 由 王 的 定义 及 KKT 条 件 (3.14) 得 
(Vf(E),y) = — DN(Vgi(z),y) >0 
i€f 
这 与 (Vf(z),y) < 0 矛盾 . 因此 , 必 有 
(Vgi(z),y) =0，ie 开 
即 ye C5( 五 ). 
另 一 方面 , 由 Ni > 0, gi(zk) < gi(z) = 0(ie 刀 以 及 f(z*) < f(z) 有 
Lo(z*, XN) = f(z*) + 》 Mgi(z*) < f(z) = Lox, AX) 
YEI 

故 

Jo(z*, 入 ) — Lo(®, A) =0.(VaLo(E, A), y*) 十 了 V2 Lo(®, A)y*) + o(02 yl?) 

<0 
另外 , 由 KKT 条 件 (3.14) 知 Vero( 云 ,入 ) = 0, 于 是 在 上 述 不 等 式 两 侧 同时 乘 以 
bf2, 并 取 极 限 可 得 
(y, V2Lo(z, Ny) < 0 


由 于 ye Cs(z) 且 llyll = 1, 所 以 上 式 与 式 (3.29) 矛盾 , 故 到 必 为 严格 局 部 最 
优 解 . 国 
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推论 3.3 ”假设 定理 3.13 中 的 条 件 均 成 立 , 定义 集合 Ds(E) 为 
Ds(s)= {ye R"|(vgi(z),y) =0, ie 和 


若 
(yVzTo( 元 ,A)y) >0, ye Ds(z),y#0 (3.30) 


成 立 , 则 至 为 问题 (3.11) 的 严格 局 部 最 优 解 . 

证 明 ” 因 Cs(z) C Ds(z), 故 式 (3.30) 强 涵 式 (3.29), 因此 , 该 推论 由 定理 3.13 
即 得 . E 国 
条 件 {3.30) 是 比 (3.29) 稍 强 的 充分 性 条 件 , 但 由 于 Ds(z) 为 线性 子 空间 , 条 
件 (3.30) 比较 容易 操作 , 因此 , 在 实际 中 经 常 被 使 用 ， 当 严格 互补 性 条 件 工 = 三 成 
立时 , (3.29) 显然 与 (3.30) 等 价 . 

此 外 , 如 下 面 的 例子 所 示 , 在 定理 3.13 的 假设 条 件 下 并 不 能 保证 至 为 孤立 局 
部 最 优 解 . 

例 3.10 ”考虑 问题 


r2 


st. g(r)<0 
Z2 一 1 和 0 


其 中 9g:R 一 RR 定义 如 下 : 


1 
zisin—, Zz#0 
g(z) = { lz| 
0, 


t=0 


该 函数 可 微 且 Vg(0) = 0， 容 易 验 证 至 = 0 与 入 = (a,0)T (对 任意 a >0) 
满足 KKT 条 件 . 另外 有 Cs(z) = R, 并 且 由 V?f(z) = 2 及 V?g(z) = 0 可 得 
V2Lolx, 入 ) = 2 > 0, 故 二 阶 充分 性 条 件 成 立 . 所 以 = 0 为 严格 局 部 最 优 解 . 但 由 


于 可 行 域 
1 L 
s=Ufrea| 直 <H< ma} 


因此 , 集合 {1/(2kr) |k = 土 1, 土 2, 土 3,…} 中 的 每 个 点 均 为 局 部 最 优 解 并且 在 
元 = 0 的 任意 邻 域内 均 存 在 这 样 的 点 , 所 以 互 = 0 不 是 孤立 局 部 最 优 解 . 

二 阶 必 要 性 条 件 (3.26) 与 二 阶 充 分 性 条 件 (3.29), (3.30) 意味 着 Lagrange 函数 
关于 z 的 Hesse 矩阵 V2Zo( 元 ,入 ) 具有 某 种 特定 的 半 正 定性 或 正定 性 , 特别 地 , 若 
V2Lo(E, 入 ) 半 正 定 , 则 条 件 (3.26) 成 立 ; 若 其 为 正定 , 则 条 件 (3.29) 与 (3.30) 成 立 . 
但 是 , 如 下 例 所 示 , 在 V2Lo(x, 入 ) 既 非 半 正 定 又 非 正定 的 情况 下 , 二 阶 最 优 性 条 件 
仍然 会 常常 成 立 . 
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例 3.11 考虑 问题 
min f(z)=—2z123 
st. gi(z)= 3 十 到 一 3 <0 
ga2(Z) = 一 ZI 和 0 
容易 判断 元 = (1,1)T 与 入 = (2,0)T 满足 KKT 条 件 . 特别 地 ,有 工 = 了 = {1}, 并 且 
严格 互补 性 条 件 成 立 . 因 Vgi(5) = (1,2)T, 故 
Cs(z) = {ve R?|(vo(z),y) =0} = {ve R?|y +2y =0} 
另外 , Lagrange 函数 的 Hesse 矩阵 为 


四 
V27o( 元 ,入 ) = 
?Do 全, 罗 Es | 


它 既 非 半 正 定 又 非 正定 . 然而 , 由 于 Cs(E) 中 的 任意 向 量 均 可 表示 为 y = (2t, -t)T 
(te R), 所 以 


(y, V2 Lo(E, A)y) = 2y? — 8yiy2 = 24t* > 0, y € Cs(z) 


故 (3.26) 与 (3.29) 均 成 立 . 进一步 , 由 定理 3.13 知 , B 为 严格 局 部 最 优 解 . 


3.6 ”等 式 与 不 等 式 约束 优化 问题 
本 节 将 把 前 面 关于 不 等 式 约束 问题 的 结果 推广 到 如 下 也 包含 等 式 约束 的 问题 


min f(z) 
st. gi(z) <0 i=1,...,m (3.31) 
hy(2)=0, j=1,..,l 


同 前 面 一 样 ,将 可 行 域 记 为 
5= {zeR"|g(s) <0,i=1. ,m, hj(z) =0,7=1,..,1} 
5 在 瑟 处 的 切 锥 记 为 Ts(E), 并 定义 线性 化 锥 为 
Cs(z) = {ve R" (vga),y) < OieT, (vhi(E),y) =0,7=1,.…,!} 


其 中 工 表 示 至 处 的 有 效 不 等 式 约束 指标 集 T(z) = {i|g;(z) = 0} C {1,… ,m}. 进 
一 步 , 定义 问题 (3.31) 的 Lagrange 函数 Lo : Rtmt! 一 [00, 十 o0) 如 下 : 
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m 了 
PR DNgi(z) + he), 入 >0 


i=1 

一 oo， A¥0 
其 中 入 = (A ,Am)T, p= (pi ,pa)T. 

下 面 的 定理 是 关于 不 等 式 约束 问题 的 最 优 性 必要 条 件 的 定理 3.5 在 问题 (3.31) 
上 的 推广 . 

定理 3.14 ” 设 到 为 问题 (3.31) 的 局 部 最 优 解 , 目标 函数 f : Rn 一 R 与 约 
束 函数 gi; : Rn 一 R(i==1,… ,m), hj : R" 一 R(j = 1,… ,l) 均 在 至 处 可 微 . 若 
Cs( 到 ) C co Ts(E), 则 存在 Lagrange 乘 子 入 e Rm, 严 ER: 满足 


m 1 
VaLo(z, MP) = VI(E)+ >, MVgi(z) + YR;vhj(z) =0 
四 2 mt jel (3.32) 
M0, gi(F) < 0,Mgi(E) =0, i=1,.…,m 


hj(z)=0, j=1,.…,! 


证 了 明 ” 同 定 理 3.5 可 证 : 若 去 为 局 部 最 优 解 且 Cs(E) C co Ts(E) 成 立 , 则 
有 一 Vf(z) e Cs(z)*, 于 是 由 定理 2.15 的 推论 知 , 存在 和 > 0(ie I) 及 万 (= 
1,… ,1) 满足 

—Vf(5) = ,MVgi(z) + 》 A;Vh;(z) 
i€I ij=1 
令 和 = 0(ig 了 ) 即 得 式 (3.32). 加 

式 (3.32) 称 为 问题 (3.31) 的 Karush-Kuhn-Tucker 条 件 或 者 KKT 条 件 . 条 
件 Cs(E) C co Ts(E) 是 关于 问题 (3.11) 的 Guignard 约束 规范 的 推广 . 保证 KKT 
条 件 为 问题 (3.32) 的 最 优 性 必要 条 件 的 其 他 约束 规范 还 包括 如 下 几 个 : 

(1) 线性 独立 约束 规范 : hj (i = 1,… ,1) 在 至 处 连续 可 微 , 并 且 向 量 组 Vgi(z)(i e 
了 了), Vhj(E)(j = 1,… ,1) 线性 无 关 ; 

(2) Slater 约束 规范 : g;(i e Z) 为 凸 函 数 , 而 hj(j = 1,… ,1) 为 仿 射 函数 , 并 
且 存 在 z", 使 得 gi(z0) < 0(i=1,… ,m) 且 hy(z") = 0(7 =1 ,1); 

(3) Mangasarian-Fromovitz (M-F) 约束 规范 : h;(j = 1,.… ,!) 在 至 处 连续 
可 微 , Vhj(E) (i = 1,… ,1) 线性 无 关 , 并 且 存在 y e R", 使 得 (Vgi(z),y) < 0(ie 了 工 ) 
有 (Vhj(z),y) =0 (7= 1,.…,)); 

(4) Abadie 约束 规范 : Cs(z) C Ts(z); 

(5) Guignard 约束 规范 : Cs(z) C co Ts( 了 五). 

这 些 约束 规范 是 3.3 节 中 所 讨论 的 关于 不 等 式 约束 的 约束 规范 到 等 式 与 不 等 式 约 
束 情 形 的 推广 . 特别 地 , Mangasarian-Fromovitz 约束 规范 对 应 于 Cottle 约束 规范 . 
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引 理 3.7 ”车 线性 独立 约束 规范 或 Slater 约束 规范 成 立 , 则 M-F 约束 规范 
成 立 . 

证 明 ”和 留 作 习 题 3.8. 国 

引 理 3.8 ”车 M-F 约束 规范 成 立 , 则 Abadie 约束 规范 成 立 ; 若 Abadie 约束 规 
范 成 立 , 则 Guignard 约束 规范 成 立 . 

证 明 ”定理 的 后 半 部 分 显然 , 下 面 只 证 前 半 部 分 . 为 此 , 设 


C3(&) = {vy eR" | (Vol),y) <0,ieT, (Vvh(E),y) =0,7=1,.…,!} 


车 M-F 约束 规范 成 立 , 则 C8(FE) 关 2, 而 C3(z) 2 又 蕴涵 clC3(z) = Cs(F). 由 
于 切 锥 Ts(FE) 为 闭 集 , 故 欲 证明 Abadie 约束 规范 成 立 , 只 需 证 明 C8(z) C Ts() 
即 可 . 为 此 , 只 需 证 明 对 任意 y es C3(z), 均 存 在 曲线 z(.) : R 一 Rn 及 6 > 0, 使 得 
z(0) =E,2(0) = y, 并 有 z(b) € S(0 € [0,9)). 

假定 ye C3(E). 记 Vhj(z)(j = 1,… ,?) 为 列 向 量 的 nx1i 阶 矩阵 为 五 (z), 则 
由 C8(E) 的 定义 有 五 (¥E)Ty = 0. 由 Vhj(B)(i = 1,… ,1) 的 线性 无 关 性 及 Vhj(-) 
的 连续 性 知 , 当 ||z 一 | 充分 小 时 , 矩阵 五 (z)TH(z) 可 道 . 于 是 可 定义 nxn 阶 
矩阵 (投影 矩阵 ) P(z) 为 


P(z) =I— H(z)[H(2)" H(z)] H(z)™ 
显然 有 P(E)y = 3 成 立 . 考虑 微分 方程 
z'(0) = P(x(0))y, z(0) = 
该 微分 方程 存在 解 z(9)(9 & [0, 酉 ), 其 中 5> 0. 下 面 说 明 z(9) 即 为 所 求 . 
由 定义 显然 有 z(0) = 至 及 z'(0) = P(E)y = vy, 因此 , 只 要 说 明 当 9 > 0 充分 


小 时 z(9) e 5 即 可 . 对 于 不 等 式 约束 , 若 i 4 工 , 则 当 9 充分 小 时 即 有 9%(z(9)) < 0 
成 立 ; 而 若 ie 工 则 有 gi(z)=0 且 


故 当 9 充分 小 时 也 有 gi(z(9)) < 0 成 立 ， 对 于 等 式 约束 ， 由 中 值 定理 2.19, 存在 
re (0,1), 使 得 
hj(z(0)=hy(z(0)) + SC 人 
=h;(E) + 0(Vhj(z(70)), "(70)) 


由 于 z'(rb) = P(z(79))y 与 Vhj(z(79)) 正 交 ,因此 hj(z(9)) = hj(5) = 0(9 e fo, 可) 
综合 上 面 的 讨论 即 知 , 当 6 充分 小 时 必 有 z(b) e 5. 区 
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3.8 揭示 了 关于 等 式 与 不 等 式 约束 的 约束 规范 之 间 的 关系 . 


图 3.8 ”等 式 与 不 等 式 约束 的 约束 规范 之 间 的 关系 


定理 3.15 ” 设 至 为 问题 (3.31) 的 局 部 最 优 解 , 目标 函数 f : Rn 一 R. 与 约束 
函数 gi :Rn 一 R(i=1,…,m),hj : Rm 一 R(j = 1,… ,1) 均 在 至 处 可 微 . 若 线性 
独立 约束 规范 、Slater 约束 规范 、M-F 约束 规范 、Abadie 约束 规范 、Guignard 约束 
规范 中 任意 之 一 成 立 , 则 存在 Lagrange 乘 子 Xe Rm 及 厂 e Ri 满足 KKT 条 件 
{3.32). 

证 阴 ”由 定理 3.14 与 引 理 3.7、 引 理 3.8, 结论 显然 成 立 . 国 

只 含 不 等 式 约束 问题 中 有 关 KKT 条 件 的 Lagrange 乘 子 的 唯一 性 和 有 界 性 的 
结论 (定理 3.9) 可 以 自然 地 推广 到 一 般 情 形 . 

定理 3.16 设 亏 为 问题 (3.31) 的 局 部 最 优 解 , 目标 函数 f : Rn" 一 R. 与 约束 
函数 gi : Rn 一 R(i = 1 ,mm),hj : Rm 一 R(j = 1,… ,1) 均 在 到 处 可 微 . 若 线性 
独立 约束 规范 成 立 , 则 满足 KKT 条 件 (3.32) 的 Lagrange 习 子 和 Ae Rm 与 neR! 
是 唯一 存在 的 . 车 M-F 约束 规范 成 立 , 则 满足 KKT 条 件 (3.32) 的 Lagrange 乘 子 
和 XeRnm 与 严 ERi 的 集合 为 有 界 集 . 

证 明 ”注意 到 关于 Cottle 约束 规范 的 引 理 3.4 可 以 推广 到 M-F 约束 规范 的 情 
形 ( 留 作 习题 3.9), 同 定理 3.9 可 证 . 国 

下 面 的 定理 说 明 , 当 问题 (3.31) 为 凸 规划 时 , KKT 条 件 (3.32) 也 为 最 优 性 充 
分 条 件 . 这 正 是 定理 3.6 的 推广 . 

定理 3.17 ” 设 问题 (3.31) 中 的 目标 函数 f : R" 一 R 与 不 等 式 约束 函数 9i : 
R" 一 R(i = 1,… ,m) 均 为 可 微 凸 函数 , 而 等 式 约束 函数 hj : R" 一 RI = 1,… ,1!) 
均 为 仿 射 函 数 . 车 存在 去 € R", Xe Rm E Ri 满足 KKT 条 件 (3.32), 则 至 为 问 
题 (3.31) 的 全 局 最 优 解 . 

证 明 证 明 同 定理 3.6, 此 处 省 略 . 图 

3.5 节 中 讲述 的 有 关 二 阶 最 优 性 条 件 的 结果 也 可 以 自然 地 推广 到 问题 (3.31). 以 
下 假定 五 e R", 和 A e Rm™,E € R! 满足 KKT 条 件 (3.32), 并 记 指 标 集 {i| 入 > 0} 为 
由 互补 性 条 件 知 工 E 工 成 立 . 设 T(E) 为 集合 5= SN {ze R"|gi(z) =0, i eT 了} 
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在 至 处 的 切 锥 , Cs(E) 为 由 下 式 定义 的 闭 凸 多 面 锥 ; 

Cs(®) = {ve R"|(vo(s),y) =0, iez, 
(Vgi(3),y) < 0, i eT, i¢i, 
(Vhj(B),y) =0, j=1,.… ,1} 


下 面 两 个 定理 分 别 为 3.5 节 中 的 定理 3.11 与 定理 3.13 的 推广 . 由 于 证 明 相同 , 故 
此 处 省 格 . 

定理 3.18 ” 设 到 € Rn 为 问题 (3.31) 的 局 部 最 优 解 , Xe Rm 与 ER! 
为 满足 KKT 条 件 (3.32) 的 Lagrange 乘 子 ,目标 函数 f : Rn 一 R 与 约束 函数 
gi :RR" 一 R(i = 1,… ,Mm), hj : Rm 一 R(j = 1,…,l) 均 在 到 处 二 阶 可 微 . 若 
Cs(z) ES Ts(z), 则 


(y, V2Lo(®, MF)Yy) >0, ye Cs(z) 


定理 3.19 ” 设 问题 (3.31) 的 目标 函数 f : Rn 一 R 与 约束 函数 g; : Rn 一 
R(i = 1,… ,mm), hj ; R" 一 R(i = 1,…,!) 均 在 五 € Rn 处 二 阶 可 微 . 车 元 ， 
AE RmA Ee Ri 满足 KKT 条 件 (3.32), 并 且 


{Y, V2 Lo(z, A,F)Y) >0, yE Cs(lz), y 去 0 


成 立 , 则 元 为 问题 (3.31) 的 严格 局 部 最 优 解 . 
定理 3.18 中 的 约束 规范 Cs() C Ts(E) 可 以 换 成 线性 独立 约束 规范 . 另外 , 若 
在 定理 3.19 中 , 将 Cs(E) 换 成 集合 


Ds(z) = {ye R" |(Voi(#),y) =0, i ez, (Vhs(s),y) =0, j=1,.… ,1} 


则 结论 仍然 成 立 . 

注意 到 问题 (3.31) 的 等 式 约束 hj(z) = 0 等 价 于 两 个 不 等 式 约束 hj(z) < 0 与 
一 hj(z) < 0, 因此 , 车 分 别 定义 21 个 新 的 约束 函数 gm+j(0 = 1,… ,21) 为 gm+j = hj， 
gm+t 二 一 hy(j 二 1,… ,站 ), 则 问题 (3.31) 变 成 只 含 不 等 式 约束 的 问题 


min f(z) 
st. gi(z) <0, i=1,...,m+2l 
虽然 问题 (3.33) 与 问题 (3.31) 等 价 , 但 在 将 3.2 节 ~ 3.4 节 中 有 关 不 等 式 约束 问题 


的 结论 应 用 到 问题 (3.33) 时 需要 稍 加 注意 . 例如 , 对 于 问题 (3.33) 的 任意 一 个 可 行 
解 ze 3, 由 于 约束 条 件 gi(z) < 0 (i= m+ 十 1,… ,m 十 21) 均 为 有 效 约 束 , 因此 , 线 


(3.33) 
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性 独立 约束 规范 与 Cottle 约束 规范 肯定 不 成 立 , 而 Slater 约束 规范 显然 也 不 成 立 ， 
所 以 对 于 问题 (3.33) 而 言 , 上 述 的 约束 规范 没有 任何 意义 . 但 是 , 由 于 可 行 域 5 的 
线性 化 锥 Cs(E) 是 不 变 的 , 所 以 Abadie 约束 规范 与 Guignard 约束 规范 对 于 问题 
(3.33) 仍然 有 效 . 


3.7 不 可 微 最 优化 问题 


本 节 将 利用 2.11 节 中 定义 的 Clarke 次 微分 把 3.2 节 中 的 结果 推广 到 包含 不 可 
微 函 数 的 非 线性 规划 问题 . 对 于 凸 函数 的 情形 , Clarke 次 微分 与 2.10 节 中 定义 的 次 
微分 是 一 致 的 . 首先 考虑 无 约束 优化 问题 


min f(z) (3.34) 


其 中 f : Rn 一 R. 下 面 的 定理 是 可 微 情形 ( 即 定理 3.4 的 推论 ) 的 自然 推广 . 

定理 3.20” 设 函数 让 : Rn 一 R 局 部 Lipschitz 连续 . 车 五 € Rn 为 问题 (3.34) 
的 局 部 最 优 解 , 则 0 e 8f(z). 进一步 , 若 /为 凸 函 数 , 则 0 e 9j(z) 是 到 为 问题 
(3.34) 的 全 局 最 优 解 的 充 要 条 件 . 

证 了 明 设 王 e R" 为 问题 (3.34) 的 局 部 最 优 解 . 由 广义 方向 导数 的 定义 (2.74)， 
对 任意 de Rn 均 有 


f°(z;d) =limaup [f(y +ta) — f(y))/t 
>limsup[f(E+td) — f(z))/t 
t™\0 


>0 


从 而 由 (2.77) 即 知 0€ Bf(E). 车 f 为 凸 函数 , 则 由 凸 函 数 的 次 微分 定义 (2.58) 知 ， 
0 € 9f(z) 等 价 于 


f(z)— f(E)>(0,2-F)=0 zeER" 


因此 , 去 为 问题 (3.34) 的 全 局 最 优 解 . mn 
下 面 来 推导 关于 不 等 式 约束 最 优化 问题 
a dt (3.35) 


Bt g(r) =1,..…,m 


的 Karush-Kuhn-Tucker 条 件 . 给 定 问 题 (3.35) 的 局 部 最 优 解 去, 定义 以 w = 
(wl,… ,Um)T 为 变量 的 函数 :Rm 一 于 co, +oo] 为 


plu) = inf {f(z) [gi(z) < us i=1,.,m, rE B(z,e)} (3.36) 


3.7 不 可 微 最 优化 问题 -101. 


其 中 < > 0 为 常数 . 

定理 3.21 ” 设 函 数 1 : Rn 一 RR 与 9g; : R" 一 R(i = 1……,mm) 均 为 局 部 
Lipschitz 连续 , 到 es R" 为 问题 (3.35) 的 局 部 最 优 解 , 并 设 es > 0 充分 小 , 而 函数 % 
由 式 (3.36) 给 出 . 若 存在 ? > 0, 使 得 


liming tu) - so/llul > -7 6 
则 存在 Lagrange 乘 子 Xe Rm 满足 
0 € f(z) + 乞 NOgi(E) (3.38) 


Xi 20, gi(x) < 0, Nigi(F) =0, i=1,.,m 
证 明 ”首先 利用 反 证 法 证 明 存 在 充分 大 的 常数 M > 0, 使 得 至 为 如 下 定义 的 
函数 px : Rn 一 了 的 局 部 最 小 值 D;: 


pu(®)= f(z)+ MD gt(z) (3.39) 


i=1 


其 中 gt : R" 一 I0, 0c) 为 如 下 定义 的 函数 : 
9 (7) = max {0, 9:(z)} (3.40) 


事实 上 , 若 不 存在 M > 0, 使 得 鳌 为 px 的 局 部 最 小 点 , 由 于 gt+(x) = 0 (i = 
1,… ,m), 则 存在 收敛 于 到 的 点 列 {z*}, 使 得 对 任意 大 = 1,2,… 均 有 


Hao + kD gt (ot) < /加 (3.41) 
i=1 
定义 点 列 {uw*} C Rm 为 uk = gt+(z*)(i = 1,… ,m), 则 有 
el < Dh = Det) 
jl i=]1 


故 当 大 一 +co 时 有 w* 一 0. 由 函数 由 的 定义 (3.36), 当 充分 大 时 有 dfuk) < 
f(z*), 并 且 8(0) = f(E). 由 式 (3.41), 当 大 充分 大 时 有 
du) 十 Klaus < $(0) 


令 上 一 十 oo 可 得 


@ 这 意味 着 约束 优化 问题 (3.35) 可 以 转化 为 以 phf 为 目标 函数 的 无 约束 优化 问题 . 这 种 将 约束 优化 
问题 转化 为 无 约束 优化 问题 时 所 使 用 的 函数 称 为 罚 函数 (penalty function). 
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[Glu*) — $(O) /Nauk 一 一 co 


这 与 式 (3.37) 矛盾 . 
因此 , 当 M > 0 充分 大 时 , 至 必 为 pw 的 局 部 最 小 点 . 由 定理 3.20 有 
0 € pm (3) (3.42) 
再 由 式 (3.39) 及 定理 2.60 得 
pw 人 (本 S Of(F) + M 2 gt (3) (3.43) 
i=l1 


对 (3.40) 应 用 定理 2.61, 则 当 ie I(z) = {i|gi(z) = 0} 时 有 
Bgt (3) Sco {0,00:(=)} 
= 人 ua eR"|0smgl1, te og:(5)} 
而 当 ig 工 (z) 时 有 
aor (3) = {0} 
由 式 (3.42) 及 式 (3.43), 存在 £° < 8f (FE), &i € 09gi(), 0 < pi < 1(iE T(z)), 使 得 
0=é°+M ), peé’ 
i€I(®) 
令 太 = Mi(ieI(z)) 及 入 =0(ig 工 (z)) 即 得 式 (3.38). 国 
条 件 (3.37) 意味 着 约束 条 件 右 端 项 的 微小 变化 所 引起 的 目标 函数 最 小 值 的 改 
变量 与 右 端 项 的 改变 量 成 正比 , 称 为 问题 (3.35) 的 平稳 性 (calmness) 条 件 . 平稳 性 
条 件 是 保证 广义 KKT 条 件 (3.38) 为 最 优 性 必要 条 件 的 一 种 约束 规范 . 
例 3.12 ”考虑 问题 
min f(z)=—z?+2z+|z| 
st. gl(z)= -rz<0 
gz(Z) =Z 一 1 和 0 


其 最 优 解 为 = 0. 当 llull 充分 小 时 , 函数 % 可 表示 为 
a. 
1 1， 1 


故 平稳 性 条 件 (3.37) 对 任意 7 > 1 均 成 立 . 因此 , 由 定理 3.21, 存在 满足 KKT 条 
件 (3.38) 的 Lagrange 乘 子 入 = (和 ,和 2)T. 实际 上 , 由 于 


3/(0)= {€ eRI1<¢<3}, 09(0)={-1}, O92(0) = {1} 
KKT 条 件 (3.38) 对 满足 1 < Ni < 3 的 任意 入 及 和 2 = 0 均 成 立 . 
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例 3.13 考虑 问题 
min f(z)=Zz 
st. gli(z) = 一 z3 和 0 
g2(7)=7z—-1<0 
其 最 优 解 为 五 = 0. 当 lu|| 充分 小 时 , 函数 5 可 表示 为 wu) = 一 书信. 由 于 
liminf (p(w) — woO)Mllull = iminf wm/(u + 2)Y? = 一 oo 
故 平稳 性 条 件 (3.37) 不 成 立 . 容易 验证 满足 KKT 条 件 (3.38) 的 Lagrange 乘 子 也 
不 存在 . 


下 面 来 推导 除了 不 等 式 约束 之 外 ,还 包含 形 如 zs C 的 约束 条 件 的 凸 规划 
问题 


min f(z) 
st, gi(z) <0, i=1,..…,m (3.44) 
ZEC 


的 KKT 条 件 ,其 中 三 : Rn 一 RR 与 g;:R" 一 Ri= 1 …，,m) 均 为 凸 函 数 , CS Rn 
为 非 空 闭 凸 集 . 对 于 问题 (3.44), 仿照 式 (3.36) 定义 函数 go : Rm 一 [一 co,+eol 
如 下 : 
polw) =inf {f(z) |9i(s) < i= 1 ,m, 2 eC} (3.45) 
对 于 凸 规划 问题 (3.44), 可 以 证 明 函数 po 为 凸 函数 , 并 且 平 稳 性 条 件 (3.37) 等 价 于 
golu) — po(0) > 一 ?ul，we Rn 
于 是 由 定理 2.48, 上述 条 件 等 价 于 函数 po 在 u = 0 处 次 可 微 . 特别 地 , 若 问题 
(3.44) 存在 最 优 解 去 , 并 且 (广义 的 ) Slater 约束 规范 
{zeR"|g(s) <0, i=b. ,mm}NC#0 (3.46) 
成 立 , 则 有 0 e int domgo, 进而 由 定理 2.48 可 得 8do(0) 六 2. 
定理 3.22” 设 函数 :R" 一 RR 与 gi:R" 一 RR (i=1,.…,m) 均 为 凸 函 数 ， 
C S Rn 为 非 空 闭 凸 集 . 设 到 Ee R" 为 问题 (3.44) 的 最 优 解 , 而 函数 po 由 式 (3.45) 
给 出 . 若 8do(0) 关 g, 则 存在 Lagrange 乘 子 Xe Rm 满足 


0 € Of (3) + Nigi(z) + Ne 人 下 ) 


i=l 
X20, gi(F) < 0, Mgi(F)=0, i=1,.…,m 


田 式 (3.36) 中 的 函数 由 依赖 于 问题 (3.37) 的 某 个 特定 的 局 部 最 优 解 元 由 于 现在 考虑 的 问题 (3.44) 
是 凸 规划 , 所 以 有 可 能 像 式 (3.45) 这 样 从 整体 上 来 定义 函数 如. 


(3.47) 
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其 中 Nc(E) 表示 集合 C 在 去 处 的 法 锥 . 特别 地 , 若 Slater 约束 规范 (3.46) 成 立 ， 
则 必 存 在 入 e Rm 满足 条 件 (3.47). 

证 明 ”由 于 证 明 方法 与 定理 3.21 基本 相同 , 故 只 给 出 大 概 思 路 . 定义 凸 函 数 
pM : Rn 一 (一 oo, +eo] 为 


pu(z) = f(z) + MY gt (2) + éc(z) 
i=] 


其 中 5c : Rn 一 (~o0,+co] 表示 集合 C 的 示 性 函数 . 同 式 (3.42) 可 证 , 当 M > 0 
充分 大 时 有 
0 € Opu (1) 
成 立 . 利用 定理 2.51 可 得 如 下 表达 式 : 
apw(z) = 0f(2) + M 2 O97 (2) + 06c(z) 


i=1 
由 示 性 函数 与 次 梯度 的 定义 以 及 凸 集 的 法 锥 的 表示 式 (3.7), 对 任意 ze C 均 有 
Bic(z)= {zeER"|(z,2— 7) <0, ze C} = Nel(z) 


由 此 即 得 式 (3.47). 一 

最 后 证 明 对 于 凸 规划 问题 , KKT 条 件 (3.38) 也 是 最 优 性 充分 条 件 , 并 且 与 可 
微 情形 一 样 , 充分 性 也 不 要 求 约束 规范 . 

定理 3.23 ” 设 问 题 (3.44) 中 的 目标 函数 f : Rn 一 R 与 约束 函数 g; : Rn 一 
R(i = 1,… ,m) 均 为 凸 函数 , CC Rn 为 非 空 闭 凸 集 . 若 存 在 二 ER" 及 入 < Rm 
满足 式 (3.47), 则 至 为 问题 (3.44) 的 全 局 最 优 解 . 

证 明 ”对 给 定 的 入 > 0, 定义 凸 函数 4 : Rn 一 (-co, +eo] 为 


tl(z) = /lz) + 》 Mgi(z) + ic(z) 
i=1 


则 由 定理 2.51 得 本 
at(z) = sf(z)+》 Xiaoi(z)+aic(z) 
#i=1 


与 定理 3.6 类 似 可 证 结论 成 立 . 国 


3.8 半 定 规划 问题 


前 面 讨论 的 问题 均 以 n 维 向 量 为 变量 , 本 节 考查 以 n x n 阶 矩 阵 苹 e Sn 为 
变量 的 问题 
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min tr[AoX] 
St. bi— tr[ 4 已 ] 和 0，1 三 1 …… ,7 (3.48) 
XX>~>O, XES" 


的 最 优 性 条 件 , 其 中 Lie S"G = 0,1,… ,m), bi € R(i = 1,… ,m), 六 > O 则 表 
示 和 为 半 正 定 矩 阵 . 一 般 地 , 称 这 种 含有 半 正 定 约束 条 件 的 数学 规划 问题 为 半 定 
规划 问题 . 

设 4= [aik] € S", 久 = [zikleS", 由 矩阵 的 对 称 性 可 得 


tr[AX] = > > QjkTIk 


j=1 k=1 


类 似 于 维 向 量 a = (a1,… ,an)" 与 了 = (zu ,zn)" 的 内 积 (az) = Dajzy， 

可 定义 矩阵 Ae Sr 与 Xe Sn 的 内 积 为 人 
(A,X) =tr[AX] 

于 是 问题 (3.48) 可 以 写成 


min 《4o, 瑟 ) 
S.t. b; 一 (4i 天 ) <0, i=1,.…,m (3.49) 
大 二 加 XES" 


该 问题 虽然 看 上 去 与 线性 规划 问题 相似 , 但 由 于 半 正 定 条 件 瑟 > O 不 能 用 有 限 个 
线性 不 等 式 来 表示 , 因此 , 它 并 不 是 线性 规划 问题 . 然而 , 由 XX > O 确定 的 集合 是 
被 称 为 半 正 定 矩 阵 锥 的 闭 凸 锥 ( 见 2.5 节 ), 因此 , 问题 (3.49) 为 凸 规划 问题 . 分 别 
定义 目标 函数 1 : 5" 一 R 与 约束 函数 g; : S" 一 R(i=1,… ,m) 为 


f(X)= (Ao, X) 
gi(X)=bi— (Ai,X), i=1,.…,m 
并 记 半 正定 矩阵 锥 为 
cC={xss"Ix=o} (3.50) 


于 是 问题 (3.49) 变 成 了 问题 (3.44) 的 形式 . 利用 定理 3.22 即 可 推导 出 问题 (3.49) 
的 最 优 性 条 件 中 . 
首先 证 明 下 面 的 引 理 : 


QD 虽然 定理 3.22 中 考虑 的 是 以 n 维 向 量 为 变量 的 问题 , 但 对 于 以 nt 阶 对 称 和 矩阵 为 变量 的 问题 仍 
然 有 同样 的 结论 成 立 , 
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引 理 3.9 ”由 式 (3.50) 定义 的 闭 凸 锥 CS s" 在 藉 eC 处 的 法 锥 No( 义 ) 可 
由 下 式 给 出 : 
Ne( 玉 ) = { -Ses"|(s,X)=0, 三 二 o} (3.51) 
证 明 ”首先 证 明 对 任意 Se 一 Nc( 义 ) 均 有 S > O. 利用 反 证 法 , 假定 三 头 O， 
则 Ss 至 少 存在 一 个 负 特 征 值 . 设 三 = QTdiag [61,… ,én]Q@, 其 中 Q@Q 为 正 交 拢 阵 . 
不 失 一 般 性 , 可 设 &1 < 0. 由 法 锥 的 定义 有 
(-S,X—X)<0, X>-O 
即 
(号 ,成 ) < (5,X), X>O (3.52) 
取 X=QTdiag[t,0,… ,0]JQ (tt> 0), 则 天 二 O, 并且 
(号 , 天) 一 堪 [erauiag [6 ,enjdiag [t, 0,... ,qlQ] 
=tr [QQ diag lt,,.… ,énjdiag le,0,… ,0 
=té1 
<0 
令 t 一 +00 可 得 (S, 关 ) 一 -oo. 另 一 方面 , 由 于 式 (3.52) 对 任意 t > 0 所 对 应 的 
XX 均 成 立 , 由 此 可 得 矛盾 , 从 而 必 有 号 = O 成 立 . 在 式 (3.52) 中 分 别 取 成 = 2 下 
及 XX = 3 部 即 可 得 到 (S, 丈 ) = 0. 上 述 事实 说 明 No( 耻 ) 包含 于 (3.51) 的 右 端 集 
合 中 . 
由 于 半 正 定 矩 阵 乘积 的 迹 非 负 ( 见 2.1 节 ), 故 对 任意 满足 (S, 叉 ) =0 且 S>O 
的 号 e Sr 均 有 式 (3.52) 成 立 , 这 说 明 式 (3.51) 的 右 端 集合 也 包含 于 Nc( 乏 ) 中 . 
下 面 的 定理 给 出 了 半 定 规划 问题 (3.49) 的 KKT 条 件 : 
定理 3.24 ”对 于 问题 (3.49), 假设 Slater 约束 规范 
{X es"|b (A,X) <0,1= ,m}n {x es"|X>o0} #0 


成 立 . 若 下 e S" 为 问题 (3.49) 的 最 优 解 ， 则 存在 Lagrange 乘 子 X e Rm 及 
豆 e Sn 满足 


Ao— YA = 号 


N20, bi— (Ai,X) < 0 Nbi— (Ai, FB)) =0, i=1,...,m 
及 ~O, SO, (X,S)=0 
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证 明 由 于 Vf(X) = 4o 且 Vei(X) = 一 Aili = 1,… ,m), 定理 的 结论 由 定 
理 3.22 及 引 理 3.9 即 得 . 国 

若 集合 { 环 e S"|b; 一 (Ai, 处 ) < 0, i = 1,… ,m} 非 空 , 则 定理 3.24 中 假定 的 
Slater 约束 规范 等 价 于 


{Xes"|h (AX) <0i=L. ,m}n {Xes"|X>O}#9 


该 条 件 可 以 自然 地 推广 到 等 式 约束 的 情形 , 因此 , 在 实际 中 比较 常用 . 下 面 的 定理 
给 出 了 带 有 等 式 约束 的 半 定 规划 问题 : 


min (4o, 瑟 ) 
St. bi— (Ai, 芝 ) =0, j=1,.…,m (3.53) 
XO, 和 ESG" 


的 KKT 条 件 . 
定理 3.25 ”假设 对 于 问题 (3.53) 有 


{XeS"|b -A,X)=0,i=1,. ,m}N{Xes"|xX> Oo}#g 


成 立 四 , 若 下 e S" 为 问题 (3.53) 的 最 优 解 , 则 存在 Lagrange 乘 子 Xe Rm 及 
豆 € 5" 满足 


4 交 X4i = 三 
bi (A X) =0, 二 三 二 (3.54) 
下 >O, 豆 > 0, (XX,)=0 

证 明 ”和 留 作 习题 4.11. 国 


由 于 半 定 规划 问题 为 凸 规划 问题 , 由 定理 3.23 知 , 定理 3.24 或 定理 3.25 中 的 
KKT 条 件 也 是 最 优 性 充分 条 件 . 


3.9 ”最 优 解 的 连续 性 
考虑 含 参 变 量 ue U C R 的 最 优化 问题 


min f(z,u) 
St. ZES(u) 
其 中 f :Rr xU 一 RR 而 5S:U 一 PP(R") 是 被 称 为 约束 映射 (constraint mapping) 
的 点 集 映射 问题 (3.55) 即 固定 参 变量 w 为 某 个 值 后 求解 目标 函数 关于 变量 zx 
@ 满足 该 条 件 的 问题 称 为 严格 可 行 {strictly feasible) 的 . 


(3.55) 
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的 最 小 值 问 题 . 这 种 含 参 变量 的 问题 称 为 含 参 优化 问题 (parametric optimization 
problem). 

问题 (3.55) 的 可 行 域 5S(w) 在 多 数 情 况 下 可 以 像 式 (2.9.2) 那样 由 含 参 变量 函 
数 的 等 式 或 不 等 式 来 表示 , 本 节 则 忽略 如 何 定义 集合 S(w) 的 问题 . 

对 于 问题 (3.55), 分 别 定义 函数 5 :U 一 [00, 十 oo] 与 点 集 映射 5 :0U 一 P(Rn) 
如 下 : 

p(w) =inf { f(z,u)|z € S(w} (3.56) 

(wu) = {z e S(u) | ¢(u) = f(z,u))} (3.57) 
这 里 假设 当 S(w) = @&g 时 , $(w) = +co. 由 式 (3.56) 与 式 (3.57) 定义 的 4 与 B 分 别 
称 为 问题 (3.55) 的 最 优 值 函数 (optimal value function) 与 最 优 集 映 射 (optimal set 
mapping). 研究 最 优 值 函数 与 最 优 集 映 射 的 连续 性 是 稳定 性 理论 (stability theory) 
的 中 心 内 容 . 

定理 3.26 ” 设 问 题 (3.55) 中 的 约束 映射 5 : U 一 P(R") 在 五 EU 处 上 半 连 
续 , 而 目标 函数 f : R" x U 一 R 在 5S( 友 x {可 } 上 为 下 半 连 续 . 若 S(#) 关 儿 且 
9( 五 ) > 一 o0, 则 最 优 值 函数 由 在 去 处 下 半 连 续 . 

证 明 ” 欲 证 明 对 任意 满足 uk 一 喜 的 点 列 {u*} CU 均 有 由 可) < lim inf (us) 
成 立 , 由 于 当 S(w*) = @ 时 , p(u*) = +oo, 故 不 失 一 般 性 , 可 假设 对 任意 均 有 
S(u*)@#&. 

首先 证 明 至 多 存在 有 限 个 ,使 得 $(wu*) = -oo 成 立 . 利用 反 证 法 , 假定 满足 
9(u*) = -co 的 大 有 无 限 多 个 , 则 对 于 每 个 这 样 的 上 均 存 在 z* e S(wu*), 使 得 


f(z*,u*) < —k (3.58) 


由 5 的 一 致 有 界 性 知 , {2*} 存在 收敛 子 列 , 不 失 一 般 性 , 可 设 zx 一 至 . 由 5 在 去 
处 的 上 半 连 续 性 有 至 € S(z) 成 立 . 因 f 在 (元 ,可 处 下 半 连 续 , 由 式 (3.58) 可 得 


f(T) < liminf f(z*, ut) = 一 oo 
这 与 f(F¥, 如 ) > %( 坏 ) > 一 co 相 矛 盾 . 因此 , 满足 (wu*) = -oo 的 大 至 多 只 有 有 限 


个 , 故 必 存在 天 , 使 得 当 大 > 大 时 有 g(w*) > 一 oo 成 立 . 
由 最 优 值 函 数 % 的 定义 , 当 上 大 > 大 时 , 对 任意 s > 0, 均 存在 zk e S(wu*), 使 得 


J (zsaus) < dg(uk) + e. (3.59) 


由 5 的 一 致 有 界 性 及 上 半 连 续 性 , 不 失 一 般 性 , 可 假设 zk* 一 至 e S(TH). 再 由 上 的 
下 半 连 续 性 及 式 (3.59) 可 得 


$(T) < 7 二 可 < liminf f(2",u") < liminfg(ws)+e 
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由 >0 的 任意 性 即 知 , $ 在 去 处 下 半 连 续 . 

定理 3.27 ” 设 问题 (3.55) 中 的 约束 映射 5S:UV 一 P(R") 在 TEU Ne 
续 , 而 目标 函数 f : R" x U 一 R 在 S() x 位 上 为 上 半 连 续 . 车 5S( 如 了 关 @ 且 
9( 五 ) > 一 00, 则 最 优 值 函数 $ 在 云 处 上 半 连 续 . 

证 了 明 ” 任 取 满 足 uk 一 元 的 点 列 {uw*} CU 及 e > 0, 考虑 满足 


f(E,U) < p(T)+e (3.60) 


的 元 e S( 可 . 由 5 的 下 半 连 续 性 , 必 存 在 满足 zk < S(wu*) 且 zx 一 至 的 点 列 {2*}. 
再 由 f 的 上 半 连 续 性 可 得 


f(F,T) > limsup f(z*,u:) > limsup$(u*) (3.61) 
大 一 cc 大 一 oo 


由 <> 0 的 任意 性 , 式 (3.60) 与 式 (3.61) 即 意味 着 $ 在 云 处 上 半 连 续 ， 

由 定理 3.26 与 定理 3.27 即 得 下 面 的 定理 (证 明 略 ). 

定理 3.28 ” 设 问 题 (3.55) 中 的 约束 映射 S :U 一 P(R") 在 均 e U 处 连续 , 目 
标 函 数 / : R" x 了 一 及 在 5 人 za) x 伍 } 上 连续 . 若 5( 古 了 关 儿 且 9(T) > 一 00, 则 最 
优 值 函数 $ 在 去 处 连续 . 

下 面 的 例子 揭示 了 约束 映射 的 不 连续 对 于 最 优 值 函数 的 连续 性 会 产生 怎样 的 
影响 . 

例 3.14 设 zeR,weR. 考虑 问题 


min -7 
st. g(xz)<u 


其 中 g:R 一 R 定义 如 下 (图 3.9(a)): 


-TT—5, I 世 一 3 


I 二 1， -3<z 气 一 2 
9g(z) = 一 5 -2<z 芝 一 ] 
-ll<z<l 
Da > 
则 S(w) = {ze Rlg(z) < wu] 可 表示 为 
[一 一 5, 二 oo)， u>1 
[~u—5,uU [1/u+00) 0O<u<l 
S(u) = 4 [-u—5,u, -ll<u<0 
[-u— 5,vu— 1), -2<u<-l 


作 ， < 一 2 
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因此 , 5 : R 一 P(R) 在 w=0 处 非 上 半 连 续 , 而 在 u = --1 处 非 下 半 和 连续. 最 优 值 
函数 $ : 了 一 [一 00, 十 oo] 可 表示 为 


—00, u>0 

一 弛 -ll<ug0 
$=1 人 

—u+l1, —2<u<—l 

十 oo， uU<—2 


它 在 u =0 处 非 下 半 连 续 , 而 在 w= 一 1 处 非 上 半 连 续 (图 3.9(b)). 


图 3.9 例 3.14 中 的 约束 映射 S(u) 与 最 优 值 函数 p(w) 


下 面 的 定理 给 出 了 最 优 集 映射 为 上 半 连 续 的 充分 条 件 . 

定理 3.29 ” 设 问题 (3.55) 中 的 约束 映射 5 : UV 一 P(BR") 在 坪 E U 处 连续 ， 
目标 函数 f : R" x U 一 R 在 S(T) x 人 十] 上 连续 . 若 5() 关 g, 则 最 优 集 映 射 
$:U 一 P(R") 在 芯 处 上 半 连 续 . 

证 明 由 于 对 任意 uv 均 有 (wu) Cc S(w), 并 且 S 上 半 连 续 , 所 以 5 在 喜 附 
近 一 致 有 界 . 考虑 满足 wk 一 圳 , zk < FB(u*) 且 zk 一 五 的 点 列 {u*} CU 与 
{2*} C Rn". 由 定理 3.28, 最 优 值 函数 在 云 处 连续 . 由 5 的 连续 性 知 元 E 5(&)， 
故 f 在 (FE, 喜 ) 处 连续 , 故 有 


GT) = lim gu) = lim f(z%, ut) = 7 可 
成 立 . 这 说 明 至 e G(T), 故 多 在 十 处 上 半 连 续 . 加 


下 面 的 例子 说 明 , 在 定理 3.29 的 条 件 下 , 最 优 集 映射 $ 在 元 处 未 必 连 续 . 
例 3.15 设 zeR?vweDr=(-1,+oo). 考虑 问题 


min f(z,u)=—(l+u)z1— Zz2 
St. 2Z1 十 zz 和 1 zl>0 zz>0 
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定理 3.29 的 假设 条 件 在 任意 训 e U 处 均 成 立 . 然而 , 由 于 


{ze R?|z1 = 0,72 = 1), -ll<u<0 
gu)=4 {fzeR2lzi+za=lzl>0zz>0，v=0 
{z ER?|zi = 1,72 = 0}, u>0 


故 多 :U 一 P(R2) 在 喜 =0 处 上 半 连 续 , 但 非 下 半 连 续 . 

欲 保证 最 优 集 映射 的 连续 性 , 需要 像 下 述 定理 中 那样 更 强 的 假设 条 件 : 

定理 3.30” 设 问题 (3.55) 中 的 约 东 映射 S : 了 一 P(Rn") 在 忒 EU 处 连续 , 目 
标 函 数 f : Rn x U 一 R 在 5( 如 ) x 位 上 连续 . 车 问题 (3.55) 当 w = 鼠 时 存在 唯 
一 解 去 , 则 最 优 集 映 射 $5 : U 一 P(R") 在 喜 处 连续 . 

证 骨 ”由 定理 3.29 知 , 下 在 元 处 上 半 连 续 . 由 假设 $(¥) = {HE}, 于 是 由 引 理 
2.5 知 , $ 在 喜 处 连续 . 力 
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3.9 节 讨论 了 含 参 优化 问题 最 优 解 的 连续 性 , 本 节 考 查 最 优 解 与 最 优 值 函数 关 
于 参 变量 v 变化 率 的 估计 方法 .这 种 定量 的 估计 方法 一 般 称 为 灵敏 度 分 析 (sensi- 


tivity analysis). 
首先 考虑 只 有 目标 函数 包含 参 变量 的 问题 
min (zu) (3.62) 
st. ZES 


这 里 假定 函数 f : Rn x UV 一 R 连续 ,Vuf(.,-) 存在 且 在 R" x U 上 连续 , 可 行 
域 S$ Cc Rn 为 非 空间 集 , 而 参 变量 的 集合 U 为 R? 的 开 子 集 . 类 似 于 式 (3.56) 与 
式 (3.57), 分 别 定义 问题 (3.62) 的 最 优 值 函数 $ : U 一 [00, 二 00] 与 最 优 集 映射 
$:U 一 P(R") 如 下 : 


$lu) =inf {f(z,u) |ze 5} (3.63) 
g(u)= {z esS|¢(u) = je (3.64) 


于 是 有 下 面 的 定理 成 立 . 

定理 3.31 ” 设 问 题 (3.62) 的 最 优 值 函数 % 与 最 优 集 映射 $ 分 别 由 式 (3.63) 
及 式 (3.64) 给 出 . 给 定 ue U, 车 $ 在 ueU 附近 非 空 且 一 致 有 界 , 则 最 优 值 函数 
$ 在 wu 处 沿 任意 方向 de Rz 的 方向 导数 图 (ui; d) 均 存 在 , 并 且 有 


$lwd) =inf { (Vuf (2,4),d) |z € lu)} (3.65) 
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进一步 , 若 $(w) 为 单 点 集 , 即 5(u) = {z(w)}, 则 函数 % 在 w 处 连续 可 微 , 并 且 有 
Vetu) = Yuf(ztu)a) (3.66) 
证 明 设 deRz 为 任意 向 量 , 则 由 $(w) 的 定义 , 对 充分 小 的 上 > 0 均 有 
pluttd) — lu) < f(z,ut+td)— f(z,u), ze $lu) 
成 立 . 两 侧 同 时 除 以 t > 0, 并 令 t 一 0 可 得 


limsuplg(u + td) — $(w))]/t < inf {(v f(z,u),d) |z € slu)} (3.67) 
t\0 


另 一 方面 , 曾 wl) = 4+td, 并 设 zt 为 5(w(t)) 中 的 任意 向 量 , 则 有 
$lu+td) — pu) > f(r’, u(t)) — f(z", u) (3.68) 
由 中 值 定理 2.19, 存在 #1 < (0,t), 使 得 
f(z', u(t) — fz’,u) = (Vuf lw’, uth)), td) 
于 是 由 (3.68) 可 得 
[p(w +td) 一 ga 人 > (Vuf lz, u(t1)),d), 2' € B(ult)) 


由 5 的 一 致 有 界 性 , 可 不 妨 假定 问题 (3.62) 的 可 行 域 5 有 界 . 由 定理 3.29 知 , 最 
优 集 映射 5 上 半 连 续 , 故 当 t 一 0, 即 w(t) 一 wu 时 , {zx!} 存在 聚 点 , 并 且 其 每 个 聚 
点 均 包含 于 $B(w), 从 而 由 上 面 的 不 等 式 可 得 


lim ipflG(u + tq) — ¢(w)/t > inf {(v» f(z,u),d)|z € g(u))} (3.69) 


式 (3.67) 与 式 (3.69) 即 说 明 式 (3.65) 成 立 . 
以 下 设 $B(w) = {z(w)}, 由 (3.65) 可 得 


由 aid) = (Vuf(z(u),u),d), deR" 


因此 , 式 (3.66) 成 立 @. 再 由 定理 3.30 知 , z(.) 连续 , 故 Vb(w) = Vuf(z(w),w) 在 
4 处 连续 . 国 
接 下 来 考虑 目标 函数 与 约束 函数 均 包含 参 变量 u 的 问题 


min f(z,u) 


3.70 
st. gi(z,u) <0 i=1,.,m (370) 


加 这 意味 着 是 Gateaux 可 微 的 ，Gateaux 可 微 性 比 2.6 节 中 定义 的 (Fréchet) 可 微 性 要 稍 弱 一 些 . 
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假定 目标 函数 f : Rm x U 一 R. 与 约束 函数 g; : R" x U 一 R(i = 1,… ,m) 均 在 
R"xU 上 二 阶 连续 可 微 . 对 于 问题 (3.70), 定义 Lagrange 函数 Lo :R"xR™xU 一 R 
如 下 @， 


To(z， 入 了 4) f(z, u) 十 人 Aigi( u) 


i=l 
以 下 假定 对 于 某 个 去 Ee U, 问题 (3.70) 的 局 部 最 优 解 至 满足 下 面 三 个 条 件 : 
(1) 二 阶 充分 性 条 件 : 存在 满足 KKT 条 件 


Va7o(z, 和 ,如 = Vef (到 ,可 2g 可 = 


和 > 0, gi(F,T) < 0，Nigi 人 ( 互 ， TH) = 0，i = 1,: 
的 Lagrange 乘 子 Xe Rm, 并 且 成 立 
(y, V2Lo(z, A,T)Yy) > 0，2 EC5( 五 二, 天 0 (3.71) 
其 中 


= {filam =0), -人 和 > 中 
Cslz, TH) et fy ER” |{Vagi(z, T), y) =0,iE€ Zz (Vzgi(, T), y) <0iEelT,i ¢z} 


(2) 线性 独立 约束 规范 : 向 县 组 Vg;(z, 芯 )(i e Z) 线性 无 关 . 

(3) 严格 互补 性 : 工 = 工 即 当 9i( 云 , 坪 ] = 0 时 有 和 > 0 成 立 . 

下 面 引 理 中 的 结果 在 灵敏 度 分 析 中 起 着 重要 的 作用 , 并 且 经 常 被 用 来 讨论 各 种 
非 线性 优化 算法 的 收敛 性 . 

引 理 3.10 ”假定 对 于 给 定 的 五 eE UC Rz, 问题 (3.70) 的 局 部 最 优 解 五 € Rn 
及 相应 的 Lagrange 乘 子 e Rm 满足 二 阶 充分 性 条 件 、 线 性 独立 约束 规范 以 及 严 
格 互补 性 条 件 , 则 如 下 定义 的 (n 十 m) x (n 十 mm) 阶 矩 阵 MI 非 奇异 : 


V2Lo(B, XT) Vegi(B,U) ... Vegm(T,U) 

| NVegn(Bu) 9 全 ,可 0 

7 (3.72) 
Am Vagm(Z, TT 0 gm (=, T) 


@ 与 3.2 节 中 式 (3.13) 所 定义 的 Lagrange 函数 不 同 ,本 节 所 定义 的 Lagrange 函数 Lo 即使 在 
入 兰 0 时 也 取 有 限 值 . 
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证 明 ”只 需 证 明 关 于 we Rn 与 ge R™ 的 线性 方程 组 
A ) =0 (3.73) 


yw 
即 
V2Lo(E, A, TH)v 十 3 wiVzagi(E, TH) = 0 (3.74) 
Mi(Vegi(F, T), 0) i =0,， i=1,:,m (3.75) 
只 有 零 解 . 
首先 , 由 严格 互补 性 条 件 及 式 (3.75) 可 得 
w=0, igTI i 


(Vegi(T,U),v) =0, ieT 


在 式 (3.73) 的 两 侧 同时 左 乘 向 量 (vT,rwT), 并 利用 式 (3.76) 可 得 
(vw, w')M ( 4 ) =({v, V2 Lo(®, A, TT)v) 十 ;3 wiMi(Vagi(t, 五 ),v) 
a i=1 


十 3 Wi(v, Vegi(T, TH)) 十 > wigi(z, T) 
i=l i=1 
=(v, V2Lo(E, A,U)v) = 0 (3.77) 


因 (Vagi(z, 忒 ),v) = 0(i eT), 而 由 严格 互补 性 条 件 知 荆 =7, 故 v 必 属 于 Cs(F, 喜 )， 
于 是 由 二 阶 充分 性 条 件 {3.71) 及 式 (3.77) 可 得 v = 0. 
将 v=0 代入 式 (3.74), 则 利用 (3.76) 司 得 


DwiVagils, 也) 一 个 
iEI 
于 是 由 线性 独立 约束 规范 知 w; = 0(i e 7 了 ), 再 结合 式 (3.76) 即 得 到 w = 0. 
利用 引 理 3.10 即 可 证 明 灵 敏 度 分 析 中 的 基本 定理 . 
定理 3.32 ”假定 对 于 给 定 的 去 ET C Rz, 问题 (3.70) 的 局 部 最 优 解 二 Rn 
及 相应 的 Lagrange 乘 子 Ee Rm 满足 二 阶 充分 性 条 件 、 线 性 独立 约束 规范 以 及 严 
格 互补 性 条 件 , 则 在 喜 的 某 个 邻 域 0 Cc U 内 存在 连续 可 微 函 数 z(.) : 2 一 Rn 及 
入 (-) : 2 一 Rm 满足 zx(H) = 环 与 入 (T) = 入 另外 ,对 任意 we 0,z(w) 与 Xu) 均 
满足 问题 (3.70) 的 二 阶 充分 性 条 件 、 线性 独立 约束 规范 以 及 严格 互补 性 条 件 . 
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证 明 考虑 联 立方 程 组 
VaLolz, A,u) =0 


Mgi(z,u) =0, i=1,.…,m 


车 将 式 (3.78) 左 侧 看 成 由 R"+mt? 到 R"+m 的 函数 , 则 式 (3.72) 中 的 矩阵 7 正 
是 该 函数 关于 (x, 入 ) 的 Jacobi 矩阵 在 (元 ,和 ,如 处 的 值 . 由 引 理 3.10 知 , 于 为 非 奇 
异 和 矩阵 . 对 式 (3.78) 应 用 隐 函 数 定理 2.21, 则 存在 连续 可 微 函数 z(.) : 2 一 Rn 及 
入 (-) : 0 一 Rm, 使 得 z( 云 ) = 元, 和 A( 世 ) = 入 , 并且 对 任意 we 8 CU 均 有 


VaLo(z(u), A(u),u) =0 
Ai(w)gi(z(u),u) =0, i1=1,..,m 


成 立 , 其 中 8 Cc U 为 去 的 某 个 邻 域 . 令 TI(w) = {ilgi(z(w),wu) = 0}, Zu) = 
{i| 和 i(w) > 0}. 由 于 所 有 函数 均 连 续 , 故 可 选择 充分 小 的 邻 域 8, 使 得 对 于 Q CU 
内 的 每 个 点 w, 均 有 T(u) = 了 (w) = 工 = 了 与 


{y, VaLo(z(u), A(u), uw)y) > 0, ye Cs(z(u),u), y #0 


并 且 向 量 组 Vag;(z(wu),w)(ie 了 ) 线性 无 关 . 这 就 说 明 (z(w), Xu))(u Ee 2) 满足 关 
于 问题 (3.70) 的 二 阶 充 分 性 条 件 、 线性 独立 约束 规范 以 及 严格 互补 性 条 件 . 国 

定理 3.32 说 明 , 在 三 个 基本 假设 条 件 下 , 当 参 变量 发 生 微小 变化 时 , 局 部 最 优 
解 与 相应 的 Lagrange 乘 子 都 是 局 部 唯一 存在 的 , 并 且 各 自 的 变化 曲线 也 都 是 光滑 
的 . 证 明定 理 3.32 时 所 用 的 工具 就 是 经 典 的 隐 函 数 定理 , 并 且 前 述 三 个 条 件 在 证 
明 中 缺 一 不 可 . 实际 上 , 这 些 条 件 经 过 适当 弱化 后 也 能 保证 局 部 最 优 解 的 存在 唯一 
性 , 以 及 关于 参 变 量 的 连续 性 , 但 这 需要 相当 复杂 的 理论 铺垫 , 本 书 不 作 更 深入 的 
讨论 (可 参见 文献 Robinson (1982)). 

下 面 考虑 问题 (3.70) 的 最 优 值 函数 的 变化 情况 . 这 里 只 考虑 局 部 最 优 解 , 函数 
由 表示 如 下 对 应 某 特定 局 部 最 优 解 去 的 目标 函数 值 : 


do =inf{ flea|olea<oi=1 ,m, 2 € BlE,e)) 


其 中 es > 0 为 充分 小 的 常数 . 

首先 , 由 定理 3.32 可 得 下 面 的 定理 : 

定理 3.33 ” 设 定理 3.32 中 的 假设 条 件 均 成 立 , 则 对 去 的 适当 邻 域 2 CU 内 
任意 一 点 w 均 有 下 式 成 立 : 


Vo(u) sr VuLo (z(u), 和 A(u), u) 


=Vuf(s(),) + YN(W Vugi(z(u), u) (3.80) 
i=1 


(3.78) 


(3.79) 
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其 中 z(w) 与 和 (wu) 分 别 为 对 应 we 2 的 问题 (3.70) 的 局 部 最 优 解 与 Lagrange 
a 由 定理 3.32 有 du) = f(z(w),u)(w < f)， 再 由 互补 性 条 件 知 
和 (uw)gi(z(u), u) = 0(i = 1,.… ,m), 于 是 有 
g(u) = Lo(z(u), A(W), Lu), wen 
对 wu 求 微分 可 得 
Vo(u)= Vz(u) VoLo(z(u), A(W), wu) + VA(u) VALo(T(u), A(u), u) 
+VuLo(z(u), A(u), u) (3.81) 
其 中 Vz(w) = [8z;(w)/Bus] € Rzxm,VA(u) = [3Ai(u)/Bus] € RPxm. 另外 , 由 KKT 
条 件 有 
VeLo(z(u), A(w),u) = 0 (3.82) 
再 由 严格 互补 性 条 件 得 
VAi(u)=0, igI 
VaiLo(Z(u), AW, wu) = gi(T(u),u) =0 ieT 
因此 有 
VA(w) VALo(z(u), Xu),u) = VA(w) Va Lo(z(u), Au),u) =0 (3.83) 
i=1 


从 而 由 式 (3.81)~(3.83) 知 
Volu) Dd VuLo(z(u), A(w), 4) 


成 立 . 图 
当 问 题 (3.70) 为 如 下 只 在 约束 条 件 的 右 端 包含 参 变量 时 , Vp(w) 有 更 简单 的 
表示 式 : 
In T 
Bt. 9i(z) Ww = ,m (3.84) 
其 中 目标 函数 f : R" 一 R 与 约束 函数 g; : R" 一 R(i = 1,… ,m) 均 为 二 阶 连续 
可 微 . 记 问题 (3.84) 的 最 优 值 函数 为 po : U 一 [一 co, +eol, 则 由 定理 3.32 可 得 下 面 
的 定理 : 
定理 3.34 ” 设 问题 (3.84) 满足 定理 3.32 中 的 假设 条 件 , 则 对 嘉 的 适当 邻 域 
CU 内 任意 一 点 4 均 有 下 式 成 立 : 


Voolu) = —A(u) (3.85) 


3.10 灵敏度 分 析 .117 . 


证 明 记 gi(z,u) = gi(Z) 一 wi(i=1,…,m), 则 有 Vugi(z,u) = 一 et 其 中 ei 
表示 第 i 个 分 量 为 1, 其 余 分 量 均 为 0 的 单位 向 量 . 于 是 由 式 (3.80) 即 得 式 (3.85). 
图 


式 (3.85) 在 灵敏 度 分 析 中 有 重要 意义 . 设 互 e Rn 与 入 € Rm 分 别 为 对 应 
= 五 的 问题 (3.84) 的 局 部 最 优 解 与 Lagrange 乘 子 . 假设 参 变量 v 在 云 处 作 微 
小 改变 而 得 到 元 + Auw, 其 中 Au = (Aui,… ,Aum)T 为 相应 的 增 量 , 则 由 式 (3.85) 
可 得 问题 (3.84) 最 小 值 的 近似 值 


po(T+ Au) ~ bo(T) — (X, Au) 
= po(T) 一 >》 NAu (3.86) 
ti=1 


式 (3.86) 表明 , 对 于 无 效 约束 , 由 于 其 对 应 的 乘 子 和 A; = 0, 因此 , 约束 条 件 右 端 项 u; 
的 变化 并 不 影响 问题 的 最 小 值 ; 而 对 于 有 效 约束 , 其 对 应 的 乘 子 Xi 越 大 , 则 右 端 项 
ui 的 变化 对 问题 的 最 小 值 的 影响 就 越 大 . 

举例 说 明 上 述 事实 如 下 : 假设 问题 (3.84) 为 在 原料 可 使 用 量 的 约束 条 件 下 , 欲 
使 总 生产 费用 最 小 而 得 到 的 生产 计划 问题 . 下 面 以 z < Rn 表示 生产 活动 水 平 的 向 
量 , f(z) 与 gi(z)jfti = 1,:… ,m) 分 别 表示 当 生 产 活动 水 平 为 xz 时 的 总 生产 费用 , 以 
及 对 第 i 种 原料 的 实际 使 用 量 , ui 表示 第 i 种 原料 的 可 使 用 量 . 此 时 , 至 即 原料 可 
使 用 量 为 豆 = ( 石 ,… ,Tn) 时 的 最 优生 产 活动 ; 而 式 (3.86) 说 明 , 如 果 第 i 种 原 
料 的 可 使 用 量 从 未 增加 一 个 单位 , 则 最 优 总 生产 费用 能 够 减少 Ni. 另外 , 如 果 某 个 
约束 条 件 在 最 优 解 处 不 起 作用 , 即 g;(E) < 吉 , 则 说 明 该 种 原料 还 有 一 部 分 没有 被 
使 用 , 此 时 , 由 互补 性 条 件 知 Xi = 0, 因此 , 该 种 原料 的 可 使 用 量 去 即使 稍 作 改 变 
也 绝 不 会 影响 到 最 优 总 生产 费用 . 由 以 上 分 析 可 知 , Xi 可 以 表示 第 i 种 原料 在 该 问 
题 中 的 价值 , 因此 , 通常 被 称 为 影子 价格 (shadow price). 影子 价格 一 般 与 该 原料 的 
市 场 价格 并 不 一 致 . 因此 , 在 制订 生产 计划 时 的 一 种 有 效 策略 是 将 求解 现 有 去 对 应 
的 问题 而 得 到 的 影子 价格 与 实际 的 市 场 价格 进行 比较 , 进而 通过 调整 原料 的 可 
使 用 量 w 来 改善 最 优 总 生产 费用 . 

例 3.16 ”考虑 含有 参 变量 wu = (ui,ua,us)T 的 问题 


min  Zl 一 ZI2 
st 2 十 好 一 1 入 2 
一 Z1 < 12 
一 Z2 < us 
当 吉 = 0 时 问题 的 最 优 解 为 豆 = (0,1)7, 相应 的 Lagrange 乘 子 为 A = (1/2,1,0)I. 
由 于 定理 3.32 的 所 有 条 件 均 成 立 , 故 由 式 (3.85) 可 得 Vpo(T) = (一 1/2, 一 1,0)T. 
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3.11 习 题 


3.1 对 于 非 空 凸 集 5 C R" 及 任意 点 至 & 5, 试 证 明 切 锥 Ts(FE) 为 闭 凸 锥 . 
3.2 试 推导 如 下 线性 规划 问题 的 KKT 条 件 : 


min 《cz) 


3.3 试 推导 如 下 二 次 规划 问题 的 KKT 条 件 : 
min {ec,z2)+ 3(e, QZz) 
St. 4z=h zr>0 


其 中 Q 为 对 称 矩 阵 . 

3.4 设 在 问题 (3.11) 中 f 为 可 微 的 伪 凸 函数 , 而 g; (i = 1 … ,m) 为 可 微 的 拟 
凸 函 数 . 试 证 明 KKT 条 件 (3.14) 是 至 为 全 局 最 优 解 的 充分 条 件 . 

3.5 设 在 问题 (3.11) 中 函数 gifi e T(z)) 在 至 处 可 微 , 并 且 对 满足 


(Vgi(z),y) <0, ieT(z) 


的 任意 向 量 y 均 存 在 函数 z(.) : R 一 R", 使 得 如 下 三 个 条 件 成 立 只; 
(1) 2(0) = a; 
(2) gi(2(0)) < 0, 0€ [0， ]1]， 1 一 1 
(3) z(") 在 9 = 0 处 可 微 , 并 且 存 在 常数 a > 0, 使 得 z'(0) = ay 成 立 . 
试 证 明 Abadie 约束 规范 成 立 . 
3.6 对 于 问题 (3.11), 记 gi(i se 工 ( 坯 )) 中 仿 射 函数 的 指标 集 为 7(z). 试 证 明 若 
存在 z 满足 
(Vgi(2),2) < 0， ie 7() 
(Vgi(z),2) <0, ieT(z),ig¢ T(E) 
则 Abadie 约束 规范 成 立 @. 
3.7 考虑 问题 
min f(z)=Z1 
st. g(r)=z3+(z2—1) -1<0 
gz(z) = 722+(72+1)2—1<0 
ga(z) 三 -ZI 和 0 


@ 该 条 件 称 为 Kuhn-Tucker 约束 规范 (Kuhn-Tucker constraint qualification). 
加 这 说 明 若 gi(i E 工 (二)) 均 为 仿 射 函数 , 则 Abadie 约束 规范 恒 成 立 . 
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试验 证 在 最 优 解 五 = (0,0)7 处 , 二 阶 约束 规范 Cs(E) C Ts(E) 成 立 , 但 (一 阶 ) 
Abadie 约束 规范 Cs(z) C Ts(z) 不 成 立 . 

3.8 试 证 明 引 理 3.7. 

3.9 试 证明 Mangasarian-Fromovitz 约束 规范 等 价 于 如 下 条 件 : id- 1……)) 
在 至 处 连续 可 微 , Vhj(z)(j=1,…,1) 线性 无 关 , 并 且 当 2 :1 WVhj(z)= 
0 且 和 20(ieD 时 有 入 =0(ieD 及 =007=1… 成立- 

3.10 定义 问题 (3.34) 中 的 目标 函数 f : Rn 一 也 为 

jf(z) = max {losz)+aali 一 1;…: ,m} 


其 中 ai e Rn ai e R(i = 1,.… ,m). 试 给 出 至 为 问题 (3.34) 的 全 局 最 优 解 的 充 要 
条 件 . 
3.11 设 函 数 1 : Rn" 一 R 局 部 Lipschitz 连续 . 试 证 明 当 到 = 0 为 问题 


min f(z) 
Bt. Zz>0 


的 局 部 最 优 解 时 有 下 式 成 立 : 
afon{esRr|e>0} A 
3.12 求 如 下 问题 的 最 优 解 : 
min max {e*,—z?—2z+1} 
st. Zz2>0 


并 给 出 满足 KKT 条 件 (3.38) 的 Lagrange 乘 子 和 的 取 值 范围 . 
3.13 考虑 如 下 以 n 阶 对 称 矩 阵 天 为 变量 的 问题 : 


min 3(X,X) 
st. (A,X)2b, XeESn 


其 中 4 e Sn 为 常数 矩阵 , be R 为 常数 ， 试 利用 该 问题 的 KKT 条 件 求 出 其 最 
优 解 . 
3.14 考虑 如 下 以 n 阶 对 称 矩 阵 XX 为 变量 的 问题 : 


fin 3X-C,X-O) 
Sst. XX~-O, XEeS" 
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其 中 C e Sn" 为 满足 C ¥ O 的 常数 矩阵 . 试 写 出 该 问题 的 KKT 条 件 . 

3.15 对 于 例 3.15 中 的 问题 , 试 讨论 其 最 优 值 函 数 to : R. 一 [00, +oo] 的 连 
续 性 与 半 连 续 性 . 

3.16 试 讨论 含有 参 变量 ve R. 的 二 次 规划 问题 


min (zl 一 2)2 十 (zz 一 2)2 
Ss.t. WT1 十 T2 一 1 
2uzl 十 Z2 一 1 
-1 和 ZI 和 1 0 和 zz 乏 2 
的 最 优 值 函数 $ : R 一 [一 co,+co] 及 最 优 集 映 射 5 : R 一 P(R2) 在 w=0 处 的 连 


续 性 与 半 连 续 性 . 
3.17 试 计算 含有 参 变量 ve R? 的 问题 


min 一 TI — WX2 
st. zz 和 1 一 xz2 


的 最 优 值 函数 % : R? 一 [-o0,+oo] 在 =(1,0)” 及 w=(0,0)7 处 9(w) 与 Vp(u) 
的 值 . 
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对 偶 定 理 在 线性 规划 中 的 重要 性 已 无 需 赣 述 , 在 非 线性 规划 中 , 对 偶 性 理论 在 
构造 求解 方法 等 方面 也 是 极为 有 用 的 . 本 章 的 目的 即 定义 一 般 非 线 性 规划 问题 的 
对 偶 问 题 , 并 讨论 其 性 质 ， 首先 , 4.1 节 就 极 大 极 小 问题 及 其 鞍点 进行 讨论 , 在 4.2 
节 与 4.3 节 讲解 非 线性 规划 问题 的 Lagrange 对 偶 性 . 其 次 , 4.4 节 介绍 由 Lagrange 
对 偶 性 推广 而 来 的 对 偶 性 理论 , 4.5 节 讨 论 针对 凸 规划 问题 的 Fenchel 对 偶 性 . 最 
后 , 4.6 节 介 绍 关于 半 定 规划 问题 的 对 偶 性 理论 . 


4.1 极 大 极 小 问题 与 鞍点 


设 Y 与 2 分 别 为 Rm 与 Rm 的 非 空子 集 . 给 定 以 Y x 2 为 定义 域 的 函数 
K :Y x Z 一 [一 co,+ocol, 定义 两 个 函数 7:Y 一 [-o00,+o0] 与 5: 2 一 [-co,+co] 
如 下 : 
n(y)=sup {K(y,z)|z € 2} 
6(2) =int {K(y,2)|yeY} 


本 节 的 目的 是 研究 问题 
min T(y) (41) 
st. yEY 

与 
max 《(z) (4.2) 
st zEZ 


之 间 的 关系 . 在 问题 (4.1) 中 , 首先 固定 y, 并 将 K(y,z) 关于 变量 z 最 大 化 , 然后 

将 该 最 大 值 视 为 y 的 函数 , 并 将 其 关于 y 最 小 化 . 问题 (4.2) 中 顺序 正好 相反 . 下 

面 的 引 理 揭示 了 问题 (4.1) 的 最 小 值 绝 不 会 比 问题 (4.2) 的 最 大 值 更 小 的 事实 . 
引 理 4.1 ”对 任意 yeEY 与 z€ 2 均 有 C(z) < mn(y) 成 立 . 进一步 , 还 有 


sup {6(z)|ze 2} <inf {n(w) lveY} 
证 明 ”由 函数 7 与 5 的 定义 , 对 任意 yeY 与 ze 2, 均 有 


C(z) < K(y,z) < n(y) 
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成 立 . 由 该 不 等 式 立即 可 以 得 到 引 理 的 结论 . 区 
车 点 (5,z) EY x 2 满足 
K(y,z) < K(y,z) < K(y,z), yeEY,zeZ (4.3) 


则 称 (5,z) 为 函数 K 的 鞍点 ( 见 3.4 节 ). 下 面 的 定理 证 明了 K 的 鞍点 与 问题 (4.1) 
及 问题 (4.2) 的 最 优 解 的 等 价 性 . 

定理 4.1 点 (5,z)EY x2 为 函数 天:Y x2 一 [-oo,+oo] 的 鞍点 的 充 要 条 
件 是 可 ey 与 ze 2 满足 


nD) =inf {n(y) |yeY} =sup {6(z)|ze 2} = (4.4) 
证 明 设 (5,z) 为 K 的 鞍点 , 则 由 式 (4.3) 知 
n(9) =sup{K(D, 2)|ze 2} = K(9,z)=inf {K(y,z)|yeY} = (加 
成 立 , 因此 有 
inf {n(w) |y eY} < n(n) = 6() < sup{c(z)|ze 2} 
而 由 引 理 4.1 知 
inf {nwly € Y} > sup {cz) |ze z} 
故 有 式 (4.4) 成 立 . 
下 面 证 明 充分 性 . 由 于 显然 有 
nD) =sup {K(D,2) ze 2} > KD,z) > inf {K(y,z)|y eY} = 
从 而 由 式 (4.4) 可 得 
sup {K(,z)|z€ 2} = K(D,z) =inf {K(y,z)|yeY} 


这 说 明 (5,z)eY x2 是 扩 :Y x 2 一 [-o0,+oo] 的 鞍点 . 国 

由 定理 4.1, 若 K 存在 鞍点 , 则 问题 (4.1) 与 问题 (4.2) 都 存在 最 优 解 . 鞍点 的 
存在 性 问题 在 博弈 论 中 是 一 个 尤其 重要 的 课题 . 截至 目前 , 已 经 讨论 了 有 关 鞍 点 的 
各 种 各 样 的 存在 性 条 件 , 这 里 只 介绍 其 中 最 基本 的 存在 性 定理 (证 明 省 略 ). 该 定理 
称 为 von Neumann 极 大 极 小 定理 (minimax theorem)@. 


@@ 在 定理 4.2 中 , 将 西 函数 换 成 拟 凸 函数 、 四 函数 换 成 拟 四 函数 后 ,结论 仍然 成 立 .这 个 结果 称 为 Sion 
极 大 极 小 定理 , 参见 文献 Berge (1959). 
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定理 4.2 设 Y 与 Z 分 别 为 Rn 与 Rm 中 的 非 空 紧 凸 集 ， 天 是 以 了 x 2 为 
定义 域 的 实 值 函数 . 假设 对 任意 固定 的 z € 2 函数 K(.,z) :Y 一 R 均 为 下 半 连 续 
的 凸 函数 , 而 对 任意 固定 的 yeY 函数 K(y,.) : 2 一 R 均 为 上 半 连 续 的 四 函数 ， 
则 K 存在 鞍点 (了 下 EY x 2. 

证 明 ”参见 文献 Berge (1959). 四 


4.2 ” Lagrange 对 偶 问题 
考虑 如 下 非 线 性 规划 问题 : 


min f(z) 
st. gi(z) 和 0， i=1,.,m (4.5) 


其 中 f : Rn 一 R, gi : Rn 一 RR (i= 1,… ,m). 对 于 问题 (4.5) 与 (3.13) 同样 可 定 
义 Lagrange 函数 Lo : R"tm 一 [00, +oo) 为 


Pu = | f(z)+ Zale), 入 >0 


-oo， A¥0 
然后 利用 Lo 分 别 定义 函数 9 : Rn 一 (00, +eo] 与 wo : Rm 一 [一 oo,+oo) 为 
blz)=sup {Lo(w, A)| A eR™} (4.7) 
wo(A)=inf {Lo(w, N) |z eR"} (4.8) 
记 问 题 (4.5) 的 可 行 域 为 
5S= {zeR"|g(z) <o0, i=1,..… ,m} 
则 由 Lagrange 函数 Lo 的 定义 有 
(3) = f(z) + és(z) (4.9) 


成 立 , 其 中 5s 表示 3 的 示 性 函数 ( 见 2.9 节 ). 于 是 问题 (4.5) 与 如 下 摇 似 无 约束 
的 问题 等 价 : 

(P) min b(z) 
以 下 将 问题 (4.5) 称 为 问题 (P). 

接 下 来 , 考虑 式 (4.8) 所 定义 的 函数 wo 的 最 大 化 问题 

(Do) max wo( 和 A) 
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问题 (Do) 虽然 看 上 去 也 是 无 约束 的 问题 , 但 是 由 Lagrange 函数 Lo 的 定义 知 , 当 
入 关 0 时 有 wo( 入 ) = -oo, 因此 , 实质 上 含有 入 > 0 这 样 的 约束 . 称 问题 (Do) 为 问 
题 (P) 的 Lagrange 对 偶 问 题 (Lagrangian dual problem), 或 者 简单 地 称 为 对 偶 问 
题 (dual problem). 与 之 相对 应 地 , 称 问题 (P) 为 原始 问题 (primal problem). 

下 面 的 引 理 说 明 , 不 管 原始 问题 (P) 如 何 , 对 偶 问 题 (Do) 总 是 关于 凹 函数 的 
最 大 化 问题 . 

引 理 4.2 ”对 偶 问题 (Do) 的 目标 函数 wo : Rm 一 [-oo, +co) 为 上 半 连 续 的 四 
函数 . 
证 明 ”由 于 对 任意 固定 的 = € R", 函数 Lo(z,*) : Rm 一 [--00, +oeo) 均 为 上 半 
连续 的 四 函数 , 并 注意 到 下 半 连 续 性 与 上 半 连 续 性 、 凸 性 与 凹 性 以 及 sup 与 inf 的 
对 称 性 , 则 由 函数 wo 的 定义 (4.8) 以 及 定理 2.18 与 定理 2.27 即 知 , wo 为 上 半 连 续 


的 凹 函数 . 四 
例 4.1 ”考虑 线性 规划 问题 
min (c, 1) 
st. Ar>b 
该 问题 对 应 的 Lagrange 函数 为 
Lo(z, A) = | (cm)+( 人 BA4z)， 入 >0 
—00, A¥0 


由 于 当 入 > 0 时 , 对 偶 问 题 的 目标 函数 为 
wo(A)=inf{ (cz) +(\,b— 4z)|ze a"} 
=(X,b) +inf {(c— 4TN,z)|ze R"} 


人 De-4I7A=0 
-oo， c-A4IAz0 


而 当 入 关 0 时 有 wo(A) = -oo, 故 对 偶 问 题 (Do) 可 表示 为 


max (b, 入) 
st. 4ITA=c 入 >0 


为 了 书写 方便 起 见 , 引入 记号 如 下 : 
inf (P) =inf {02) |ze R"} 


sup (Do)=sup {0%) | 和 E Rn} 


4.3 Lagrange 对 侦 性 , 125 . 


进一步 , 当 存 在 去 e R", 使 得 -oo < 9(E) = inf (P) < +oo 时 , 将 inf (P) 记 为 
min (P); 当 存 在 入 Ee R™, 使 得 -co < wo(A) = sup(Do) < +co 时 , 则 将 sup (Do) 记 
为 max (Do). 

若 问题 (P) 为 凸 规划 问题 , 并 且 满 足 Slater 约束 规范 , 则 至 为 问题 (P) 的 全 
局 最 优 解 的 充 要 条 件 是 存在 和 , 使 得 Lagrange 函数 Lo 满足 鞍点 条 件 (3.19) (定理 
3.10). 下 面 的 定理 证 明了 上 述 入 正 是 对 偶 问 题 (Do) 的 最 优 解 , 但 该 定理 并 没有 原 
始 问题 为 凸 规划 问题 或 者 约束 规范 成 立 这 样 的 假设 . 

定理 4.3 (元 , 和 A)T e R"tm 为 Lagrange 函数 Lo : Rntm 一 [00, 二 00) 下 
鞍点 的 充 要 条 件 是 9(E) = inf (P) = sup (Do) = wo(X) 成 立 ， 特 别 地 , (FE, X)T 
R"+tm 为 Lo 的 鞍点 , 并 且 -co < Lo(FE, 入 ) < +oo 的 充 要 条 件 是 0(F) = min es 
max (Do) = wo( 入 ) 成 立 . 

证 明 ”由 定理 4.1 结论 显然 . 国 

推论 4.1 设 问 题 (P) 中 的 目标 函数 f : R" 一 R 与 约束 函数 g; : Rn 一 RR 
(i = 1,… ,m) 均 为 可 微 凸 函数 , 则 去 < Rn 与 Xe Rm 满足 -oo .< 6(x) = wo(X) < 
+oo 的 充 要 条 件 是 至 与 入 满足 KKT 条 件 (3.14). 

证 明 ”由 定理 3.10 的 推论 及 定理 4.3 可 得 . 

下 面 的 定理 利用 对 偶 问 题 (Do) 的 最 优 解 来 刻画 原始 问题 (P) 的 最 优 解 . 

定理 4.4 ” 设 对 侦 问 题 (Do) 存在 最 优 解 , 并 且 满 足 -co < max (Do) < +oo， 
则 对 于 问题 (Do) 的 任意 一 个 最 优 解 As R™, 满足 


Lo(®, XM) = min {Lol, 5) |ze R"} 
Ngi(z) =0, gi(z) < 0, i=1,.…,m 
的 向 量 亏 e Rn 必 为 原始 问题 (P) 的 最 优 解 . 
证 明 ”由 假设 知 , 云 为 原始 问题 (P) 的 可 行 解 , 并 且 有 


f(E) < f(z)+ 和) ZERn (4.10) 


=1 
成 立 ， 再 由 入 > 0 知 , 对 于 问题 (P) 的 每 个 可 行 解 x, 均 有 Xigi(z) < 0 (i = 
1,… ,m), 从 而 由 式 (4.10) 知 , f(E) < f(z) 对 问题 (P) 的 任意 可 行 解 z 均 成 立 . 国 
4.3 Lagrange 对 偶 性 


本 节 将 讨论 使 得 原始 问题 与 对 偶 问题 之 间 的 所 谓 对 偶 性 (duality) 关系 inf (P) 
= sup (Do) 成 立 的 条 件 以 及 对 偶 问 题 存在 最 优 解 的 条 件 等 内 容 . 
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考虑 如 下 与 问题 (P) 相关 的 含 参 优化 问题 : 


min f(z) (4.11) 
8.¢t. gi(z) < wi, i=1,.…,m 

以 w= (ww1,… ,um) e Rm 表示 参数 向 量 , 并 分 别 定 义 问 题 (4.11) 的 约束 映射 

5 : Rm 一 P(Rn") 与 最 优 值 函数 加 : Rm 一 [一 co,+oo] 如 下 : 


S(wW={z eR" |g(z) < ui=1,.. ,m} (4.12) 
各 (u) =inf { flz)|ze S(w)} (4.13) 


特别 地 , 当 5S(w) = gg 时 , 令 po(w) = +co. 下 而 的 引 理 给 出 了 最 优 值 函数 po 的 基 
本 性 质 : 

引 理 4.3 ”问题 (4.11) 的 最 优 值 函数 po : Rm 一 [co, +co] 为 单调 非 增 函数 . 
此 外 , 当 目标 函数 f : Rn -; R 与 约束 函数 g; : Rn 一 R (i = 1,… ,m) 均 为 凸 函数 
时 , go 也 为 凸 函数 . 

证 明 由 式 (4.12) 知 , 若 wi < vi (i 二 1,…,m), 则 S(w) Cc S(v), 再 由 go 的 
定义 (4.13) 有 po(w) > go(v), 故 po 为 单调 非 增 函 数 . 关于 引 理 的 后 半 部 分 , 只 需 
证 明 对 任意 (uk, px)T eepi (k=1,2) 与 a € (0,1) 均 有 (wr,ja) € epi go, 其 
中 ua = (1- a)ul +ona2, ja = (1 一 Qa)jp +apz. 事实 上 , 因 (wt, jx)T € epi po 
(k = 1,2), 则 对 任意 s > 0, 均 存 在 zk e Rn (k = 1,2), 使 得 f(z*) < y+e 且 
gi(zk) < ut (i = 1,.… ,m) 成 立 . 又 因 f 与 gi 均 为 凸 函 数 , 令 za = (1 一 ajzl+am2 
可 得 


f(z°)<(1—a)f(z')+af(z’) < yate 
gi(2°) < (1 — a)gi(z!) 十 agi(z2) < us, i= ,m 


故 有 徊 (ua) < f(z*) < ya +e. 由 e >0 的 任意 性 知 , (wu®, yo) eepi po 成 立国 
现 定义 函数 而 : Rn+m 一 (一 00, 二 oo] 为 


_ J f(z), ze€sS(u) 
Fo(z,u) = { +oo ML (4.14) 
由 于 问题 (4.11) 等 价 于 固定 w% 后 将 丽 关于 z 最 小 化 , 因此 , 显然 有 
go(u) = inf {Feu) |ze R"} (4.15) 


而 当 w = 0 时 , 问题 (4.11) 与 问题 (4.5) 一 致 ,于 是 由 式 (4.9) 及 式 (4.14) 有 下 面 的 
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关系 式 成 立 : 
Fo(z,0) =0(2) (4.16) 
inf (P) = #0(0) = inf { Fol z,0)|ze R"} (4.17) 


引 理 4.4 ”对 任意 固定 的 = e Rn, 而 (z,.) : Rm 一 (一 00, 十 oo] 为 下 半 连 续 的 
凸 函数 ， 此 外 , 当 了 : Rn 一 了 与 9 :Rn 一 R (= 1 …,m) 均 为 凸 函数 时 ， 
而 : Rn+m 一 (一 00, +oo] 为 下 半 连 续 的 凸 函数 . 

证 明 引 理 的 前 半 部 分 只 需 证 明 epi Ru(z,) C Rm+1 为 闭 凸 集 ， A 
则 只 需 证 明 epi Fo C R"+m+1 为 闭 凸 集 ( 留 作 习题 4.5). 

经 过 上 面 的 准备 , 现在 来 调查 原始 问题 (P) 与 对 偶 问 题 (Do) 之 间 的 关系 . 
面 的 定理 一 般 称 为 弱 对 偶 定 理 (weak duality theorem). 

定理 4.5 ”关于 原始 问题 (P) 与 对 偶 问 题 (Do), 有 如 下 关系 式 成 立 : 


inf (P) > sup (Do) 
证 明 ”由 函数 9 与 wo 的 定义 以 及 引 理 4.1 即 得 . 四 
定理 4.5 说 明 , 对 任意 z e R" 及 A < Rm, 总 有 关系 式 
be) > wo(A)， inf (P) > wo(A)， glz) > sup (Do) (4.18) 


成 立 . 式 (4.18) 虽然 简单 , 但 在 实际 中 却 非常 有 用 . 例如 , 给 定 任意 一 个 满足 wo( 和 ) > 
一 00 的 入 , 若 能 够 计算 wo( 和 ) 的 值 @, 则 可 保证 得 到 原始 问题 的 最 小 值 inf (P) 的 一 
个 下 界 . 另外 , 若 对 于 充分 小 的 = > 0 能 够 找到 满足 g(z) - wo(A) <e 的 z 与 入, 则 
这 样 的 z 与 入 可 分 别 视 为 原始 问题 (P) 与 对 偶 问 题 (Do) 的 不 错 的 近似 解 .这 种 
观点 在 对 偶 问 题 (Do) 的 且 标 函数 wo 较 易 计算 时 常常 被 用 来 估计 原始 问题 (P) 的 
近似 解 . 

例 4.2 ”假定 问题 (4.5) 中 的 目标 函数 让: Rn 一 R 与 约束 函数 g; : R* 一 RR 
(i = 1,… ,mm) 均 为 可 微 凸 函数 , 并 且 由 

$= {2 eR" |g:(z) <0, 1= 1,.…: ,m} 


定义 的 集合 5 Cc Rn 非 空 , 则 称 由 


cs | f(s) -tonne), ne 有 si 
十 oo， rg5 
定义 的 函数 YY : Rn 一 (一 00, 十 oo] 为 问题 (4.5) 的 障碍 函数 (barrier function), 其 中 
t > 0 为 参数 .5 = dom + 表示 问题 (4.5) 的 可 行 域内 部 且 为 开 凸 集 , 而 当 点 z 由 
可 行 域内 部 逐渐 接近 边界 时 , yx(z) 的 值 将 趋向 +oe. 下 面 考虑 问题 
加 满足 wo(A) > 一 ce 的 入 实际 上 是 对 偶 问 题 (Do) 的 可 行 解 ( 见 例 4.1 )， 
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min (2) 
st. zes 


由 前 面倒 述 的 性 质 , 该 问题 实质 上 可 看 成 是 无 约束 问题 . 进一步 , 若 记 其 最 优 解 为 
zt, 则 由 定理 3.4 的 推论 有 


0=VY(2!) 
=Vj(zi) — :> 


(4.20) 


{gi Ya ) 


令 症 = 一 t/gi(z!) (i=1,… ,m) 可 得 
Vf(z9 二 D3 MVgi(z')=0 (4.21) 


i=1 
由 于 f 与 9; (i = 1,…,m) 均 为 凸 函数， 并 且 A! = (和 ,… ,入 ) > 0, 根据 
Lagrange 函数 Lo 的 定义 (4.6), 式 (4.21) 说 明 Lo(, 入 !) 在 zt 处 取得 最 小 值 , 进而 
由 式 (4.8) 知 


wo(A9)=Zo(z5 和 9) 


=f(2!) + DMgi(z!) 
i=1 
= f(zt)— mt (4.22) 


成 立 , 其 中 最 后 的 等 式 源 自 和 = 一 t/gi(z!) (i = 1,… ,m). 因此 , 若 记 inf (P) 为 问 
题 (4.5) 的 目标 函数 的 最 小 值 , 则 由 式 (4.18) 及 式 (4.22) 可 得 
inf (P) > f(z!) 一 mt (4.23) 
这 说 明 由 问题 (4.20) 的 最 优 解 zt 可 以 明确 地 估计 inf (P) 的 下 界 . 另外 , 由 于 显然 
有 f(z!) > inf (P), 故 由 式 (4.23) 知 , 当 t 一 0 时 , f(zt) 收敛 于 inf (P). 
下 面 考查 使 得 原始 问题 (P) 与 对 偶 问 题 (Do) 之 间 满 足 更 强 对 偶 性 的 条 件 . 下 
面 的 引 理 说 明了 式 (4.6) 定义 的 Lagrange 函数 Lo 与 式 (4.14) 定义 的 函数 而 之 间 
的 关系 : 
” 引 理 4.5 Lagrange 函数 Lo : R"+m 一 [一 oo,+oo) 与 函数 名 : Rntm 下 
(一 00, 二 00] 之 间 有 如 下 关系 成 立 : 
Lo(z, 和)=inf {Flz, u) + (Xu) |ue R"™} (4.24) 
Folz,u) =sup {Lo(z, A) -(Na)| 和 e R"} (4.25) 


证 明 考虑 到 集合 5(wu) 的 定义 (4.12), 则 结论 由 函数 Lo 与 的 定义 (4.6) 
及 (4.14) 即 得 . 国 
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2.8 节 中 已 经 定义 了 凸 函数 的 共 虑 函数 , 并 讨论 了 它 的 性 质 , 现在 将 其 推广 到 
一 般 的 非 线性 函数 少 : Rn 一 [一 co, +oo]. 与 式 (2.42) 同样 , 共 思 函数 定义 为 


wp"(é) =sup {(2,6€) —v(z)|z eR"} 


另外 , 对 于 函数 少 , 称 满足 epi 9 = cl co epi y 的 函数 5 : Rn 一 [00,+o0o] 为 也 的 
闭 凸 包 (closed convex hull), 并 记 其 为 cl co vw. 

下 面 的 引 理 是 定理 2.38 与 定理 2.39 的 推广 , 它 揭示 了 非 凸 函数 的 共 斩 函 数 或 
闭 同 包 具 有 与 凸 函数 的 共 亏 函数 或 闭 包 相同 的 性 质 (图 4.1). 


图 4.1 非 凸 函数 区 的 闭 凸 包 cl co 全 
引 理 4.6 ”车 函数 少 : Fn 一 (-eo,+eo] 的 闭 四 包 cl cow 为 闭 正常 凸 函数 , 则 
共 配 函数 y* : Rn 一 (一 00, +co] 也 为 闭 正 常 凸 函数 ,并 且 闭 四 包 cl coyw : Rn 一 
(-oo, 十 oo] 可 以 表示 为 
cl co WW(z) = sup {n(x) |he < 四 } 
其 中 LIw] 表示 处 处 满足 w(z) > h(z) 的 仿 射 函数 h : Rn 一 R 的 全 体 构成 的 集合 . 
此 外 , 若 记 的 双重 共 堪 函数 为 y**, 则 有 w** = cl cow 成 立 . 


证 明 ”利用 与 定理 2.38 和 定理 2.39 同样 的 方法 可 证 明 该 结论 . 国 
下 面 的 引 理 揭示 了 对 偶 问 题 (Do) 的 目标 函数 wo 与 原始 问题 (P) 的 最 优 值 函 
数 go 之 间 实 质 上 存在 共 堪 关系 . 
引 理 4.7 ”对 任意 入 € Rm, 均 有 关系 式 
wo( 和 A) = -$6(—A) 


成 立 . 
证 明 ”由 式 (4.8), (4.15), (4.24) 可 得 


wo(A)=inf {Lo(z, A) |z € R"} 
一 inf {mlz,u) +(A\,u)|reR",ue R"} 
=inf {¢ol) +(X,u)|ue R"™} = -$0(— 和 A) 
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结论 得 证 . 国 
下 面 的 引 理 说 明了 对 侦 问 题 (Do) 的 最 大 值 可 由 原始 问题 (P) 的 最 优 值 函数 来 
表示 : 
引 理 4.8 ”关于 对 偶 问题 (Do) 的 最 大 值 , 有 下 式 成 立 : 
sup (Do) = $0°(0) 
证 明 由 引 理 4.7 知 
sup (Do) =sup {00%) | 入 e R"} 
=sup{(-X,0) —%(-N)|A ER™} = #6°(0) 
成 立 . 图 
由 上 述 结果 可 得 下 面 的 对 偶 定理 (duality theorem): 
定理 4.6 ”对 于 原始 问题 (P) 与 对 偶 问 题 (Do)， 
inf (P) = sup (Do) 
成 立 的 充 要 条 件 是 go(0) = 中 *(0) 成 立 . 特别 地 , 当 go 为 团 正常 凸 函数 时 , 后 者 必 
成 立 . 
证 明 前半 部 分 由 引 理 4.8 及 式 (4.17) 可 得 , 后 半 部 分 由 定理 2.39 可 得 国 
定理 4.6 是 非常 普通 的 结果 , 它 对 于 inf (P) 或 sup (Du) 的 有 限 性 以 及 最 优 解 
的 存在 性 均 没有 涉及 . 关于 原始 问题 (P), 如 在 目标 函数 连续 且 可 行 域 为 非 空 紧 集 
的 情况 下 , 可 保证 最 优 解 的 存在 性 , 下面 讨 论 使 得 对 偶 问 题 (Do) 存在 有 限 最 优 解 
的 条 件 : 
定理 4.7 “对偶 问题 (Do) 存在 最 优 解 , 并 且 
inf (P) = max (Do) 
成 立 的 充 要 条 件 是 inf (P) 有 限 且 存在 入 e Rm 满足 
golu) > po(0) — (A,u), ueER™ (4.26) 
并 且 此 时 的 入 就 是 对 偶 问 题 (Do) 的 最 优 解 . 另外 , 若 po 为 正常 凸 函 数 , 则 上 述 条 
件 等 价 于 3go(0) 去 儿 , 同时 还 有 关系 式 
-0¢o(0) = {Xe R™ |wo(%) = max(Do)} 
成 立 . 
证 阴 式 (4.26) 等 价 于 
各 (0) = min{‰(u) + (Kw) |ueE R™} = -068(-N) 
由 引 理 4.7 与 式 (4.17), 这 又 等 价 于 
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inf (P) = wo( 入 ) 
再 由 定理 4.5, 它 又 进一步 等 价 于 入 为 对 偶 问 题 (Do) 的 最 优 解 , 并 且 inf (P) = 
max (Do). 定理 的 最 后 一 部 分 由 次 梯度 的 定义 即 得 . 
推论 4.2” 设 原始 问题 (P) 中 的 f:R" 一 R 与 gi:R" 一 R (i=1,.…,m) 
均 为 可 微 凸 函数 , 则 元 e Rn 与 Xe Rm 满足 问题 (P) 的 KKT 条 件 (3.14) 的 充 要 
条 件 是 至 为 问题 (P) 的 最 优 解 , 并 且 式 (4.26) 成 立 . 
证 明 ”由 推论 4.1 与 定理 4.7 即 得 . 国 
式 (4.26) 的 含义 是 函数 po 的 上 图 epi 在 点 (0,o(D))T € Rm+l 处 具有 非 
垂直 的 支撑 超 平面 . 下 面 分 别 给 出 了 对 偶 性 条 件 成 立 和 不 成 立 的 两 个 例子 . 
例 4.3 ”考虑 下 面 的 原始 问题 (P): 
min f(z) 
Sst. 7 所 0，7ZER 


其 中 f : R 一 RR 为 如 下 定义 的 函数 : 


_|(-1), rg?2 
/ 间 = z>2 


该 问题 的 最 优 值 函 数 po : R 一 RR 为 


已 一 1)2，V 和 1 
$olu) = 4 0， 1<ug3 


一 十 3， u>3 
则 cl co 9 可 表示 为 (图 4.2) 
一 ]D)2， wu<1/2 
dw = { 过 u> Se 
因此 有 
pol0) = cl co ol(0) = 1 
由 引 理 4.6 及 定理 4.6 有 inf (P) = sup (Do) 成 立 . 另外 , 由 于 
polu) p00) —2u ueER 
成 立 , 故 由 定理 4.7 知 , 和 = 2 为 对 偶 问 题 (Do) 的 最 优 解 . 实际 上 , 由 式 (4.8), 对 偶 
问题 (Do) 的 目标 函数 wo : R 一 [一 co, +co) 可 表示 为 
一 X2/4 >1 
oa-{ 一 区 1 


因此 , wo(A) 的 确 在 和 = 2 处 取得 最 大 值 . 
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例 4.4 考虑 下 面 的 原始 问题 (P): 


min f(z) 
st. rz<0, rER 
其 中 了 :RR 一 RR 为 如 下 定义 的 函数 : 
_ | -z?—z+3/4, lz| < 1/2 
7 加 = { zz+1/4 lzl>1/2 
该 问题 的 最 优 值 函数 bo : R. 一 R 及 其 闵 凸 包 cl co 由 分 别 为 (图 4.3) 


42 一 & 十 1/4， < 一 1/2 
polu) = 4 -uut+3/4, lul<1/2 


0, u>1/2 


u2 一 4 十 1/4，V < 一 1/2 
alco =4 -u+l/2， lul <1/2 
0, u>1/2 
于 是 有 3 1 
inf (P) = 24>3 = sup (Do) 
因此 , 对 偶 性 条 件 不 成 立 . 


机 
d $o(0) =inf (P) 
co > 


cl co 各 (0)=sup (Do) 


4.2 例 4.3 图 4.3 例 4.4 


像 例 4.4 那样 , 当 inf (P) > sup (Do) 时 , 则 称 对 偶 间隙 (duality gap) 存在 . 当 
最 优 值 函数 po 不 是 凸 函数 时 , 虽然 也 有 像 例 4.3 那样 inf (P) = sup (Do) 成 立 的 情 
况 , 但 一 般 来 说 , 对 偶 间 隙 是 存在 的 . 

由 引 理 4.3, 当 问 题 (P) 中 的 目标 函数 f 与 约束 函数 g，(i = 1,… ,m) 都 是 凸 
函数 时 , 最 优 值 函数 po 也 是 凸 函数 , 并 且 由 定理 4.7, 当 9do(0) 关 g 时 , 对 偶 问 题 
(Do) 存在 最 优 解 , 并 有 inf (P) = max (Do) 成 立 . 类 似 于 定理 2.48 可 证 凸 函数 加 
在 = 0 处 存在 次 梯度 的 充 要 条 件 是 po(0) 有 限 且 存在 7 > 0 满足 


bow) 一 加 (0) > —7lull, ue R™ (4.27) 
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特别 地 , 若 bo(0) 有 限 , 并 存在 0 e R" 满足 Slater 条 件 


gi(z0) <0, i=1,.,m (4.28) 
则 有 0 es int dom po, 从 而 由 定理 2.48 知 , 8to(0) 关 9 成 立 . 
综 上 可 得 下 述 关于 凸 规划 问题 的 对 侦 定理 : 


定理 4.8 ” 设 原始 问题 (P) 中 的 目标 函数 f 与 约束 函数 g; (i = 1,… ,m) 均 
为 凸 函 数 , 则 对 偶 问题 (Do) 存在 最 优 解 , 并 满足 
inf (P) = max(Do) 
的 充 要 条 件 是 po(0) 有 限 , 并 存在 7 > 0 满足 式 (4.27). 特别 地 , 车 各 (0) 有 限 且 存 
在 z0 es R" 满足 Slater 条 件 (4.28), 则 后 者 必 成 立 . 
对 于 凸 规划 问题 的 情形 , 定理 4.8 中 的 条 件 绝对 称 不 上 严厉 , 所 以 对 偶 间隙 存 
在 的 可 能 性 不 大 . 实际 上 , 凸 规划 问题 只 是 在 如 下 一 些 特殊 的 情况 下 才 存 在 对 偶 间 
隙 : 
例 4.5 考虑 下 面 的 原始 问题 (P): 
min f(z) 
st. zg<0 ER 


其 中 f : R 一 (-oo,+oo] 为 如 下 定义 的 函数 : 
—Vr, TIT>0 
f(z)= 4 1, 2=0 
十 oo， x<0 


该 问题 的 最 优 值 函数 bo : R 一 (-co,+co] 可 表示 为 
(图 4.4) 


罗 u=0 
十 co， wu<0 


—Vu, u>0 图 44 例 4.5 
4 人 u) = 


对 偶 问 题 (Do) 的 目标 函数 wo : R. 一 [-co, +oo) 为 
A 
wo(A) = | a 
—00, 入 <0 
因此 有 
inf (P) = 1 > 0 = sup (Do) 
即 存在 对 偶 间隙 . 
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例 4.6 在 例 4.5 中 重新 定义 目标 函数 f 为 
0-{ 7 2 


二 co， Z<0 
对 偶 问题 (Do) 的 目标 函数 wo 没有 变化 , 但 最 优 值 函数 加 变 为 


—Vu, u>0 
十 co， wu<0 


| 


因此 , 对 偶 性 条 件 
inf (P) = 0 = sup(Do) 
成 立 . 然而 , 由 于 8po(0) = 2, 对 偶 问 题 (Do) 没有 最 优 解 . 

最 后 , 考查 式 (4.26) 的 含义 来 结束 本 节 的 讨论 . 作为 原始 问题 (P), 考虑 3.10 
节 中 提出 的 关于 原材料 可 使 用 量 的 约束 条 件 下 最 小 化 总 生产 费用 的 问题 . 对 于 该 生 
产 规划 问题 , 含 参 规划 问题 (4.11) 可 看 成 求解 对 第 i 种 原料 只 交易 u; (ui < 0 意 
味 着 卖 出 , w > 0 意味 着 买 进 ) 而 得 到 的 约束 条 件 gi(z) < ui (i = 1,… ,m) 下 的 
最 小 生产 费用 问题 . 现 设 第 i 种 原料 的 价格 为 Xi, 则 将 原材料 的 交易 收益 也 考虑 在 
内 的 净 生 产 费 用 , 也 即 纯 生产 费用 的 最 小 值 可 表示 为 


po(u) 十 DD Mius 
i=1 


因此 , 不 等 式 (4.26) 意味 着 在 价格 入 = (和 1,… ,Am)T 的 条 件 下 不 管 将 原材料 如 何 
交易 , 纯 生 产 费 用 的 最 小 值 也 不 会 比 现在 的 值 更 小 . 由 于 这 个 原因 , 满足 式 (4.26) 
的 入, 也 即 对 偶 问 题 (Do) 的 最 优 解 , 常常 称 为 均衡 价格 (equilibrium price). 特别 
地 , 若 函数 po 在 wu = 0 处 可 微 , 则 式 (4.26) 意味 着 入 = --Vo(0), 这 与 式 (3.85) 
相 一 致 , 因此 , 也 可 以 将 入 看 成 3.10 节 中 所 介绍 的 原料 的 影子 价格 . 
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正如 4.3 节 所 指出 的 , 当 原 始 问题 (P) 为 非 凸 规划 问题 时 ，Lagrange 对 偶 问 
题 (Do) 存在 对 侦 间 隙 的 可 能 性 较 大 . 本 节 将 通过 推广 Lagrange 函数 的 定义 来 构筑 
新 的 对 偶 问题 , 然后 说 明 利 用 这 种 新 的 对 偶 问 题 能 够 消除 很 多 非 凸 规划 问题 的 对 偶 
间隙 . 

对 于 原始 问题 (P), 考虑 函数 下 : R"+M 一 (-oo,+oo], 使 得 对 任意 固定 的 
Zz ERn, F(z,.) :RM 一 (—00,+o00] 均 为 闭 正常 凸 函数 , 并 且 满足 


F(x,0) =glz)，zeRr (4.29) 
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其 中 M 为 参 变量 的 维 数 , 它 与 前 面 几 节 中 的 参 变 量 v 的 维 数 m 不 一 定 相 同 . 但 为 
了 简便 起 见 , 本 节 中 的 参 变量 仍 用 w 来 表示 . 

例 4.7 设 M =m, 考虑 式 (4.14) 中 的 函数 i : Retm 一 (一 00,+oo]. 利用 满 
足 gq(0) = 0 的 闭 正 常 凸 函 数 g : Rm 一 (一 00, 十 oo] 定义 函数 下 : Rntm 一 (一 00, 十 oo] 
如 下 : 

F(z,u) = Fo(z,u) + gq(u) (4.30) 

则 由 式 (4.16) 及 引 理 4.4 知 , 函数 下 满足 前 面 的 性 质 . 

由 式 (4.29) 有 


inf (P) = inf {ez) |ze R"} inf { F(z,0) |ze R"} 
成 立 , 因此 , 问题 (P) 可 以 嵌入 含 参 规划 问题 


min F(z,u) (4.31) 
定义 问题 (4.31) 的 最 优 值 函数 5: RM 一 [co, +eo] 为 
dtu) =inf {F(z,w) |z eR"} (4.32) 


引 理 4.9 车 下 :Rnr+M (一 00, 十 oo0] 为 凸 函数 , 则 由 : RM 一 [-oo,+oo] 也 
为 凸 函数 . 

证 明 ”对 任意 (uk,Apk)jz eepib(k=12) 及 ae(0,1), 置 we = (1 一 a)ul+anat2， 
ka 二 (1 一 Q)j 十 Qap2. 和 欲 证 (u?, ya)T e epi $. 事实 上 , 因 wub < px (k= 1,2), 
则 由 式 (4.32) 知 , 对 任意 es > 0, 存在 zk e Rn (k = 1,2) 满足 F(z*,u*) < 从 十 E 
(==1,2). 令 z* = (1 一 a)z1 十 aw?. 因 民 为 凸 函 数 , 故 有 下 式 成 立 ; 

pu°) < F(T, u°) 和 (1 一 ao)F(zlal)+aF(z2u2) 
乞 (1 一 am 十 an 十 < = jat+e 

由 <>0 的 任意 性 可 得 (uw?, ya)T eepi $. 加 

基于 Lagrange 函数 Lo 与 函数 之 间 的 关系 式 (4.24), 可 以 利用 函数 下 定义 
广义 Lagrange 函数 (extended Lagrangian) L:R"tM 一 [一 co, 十 oo] 如 下 : 

L(z, A) =inf {F(z, w+ (Mu)| ue RY } (4.33) 

由 假设 知 , F(z,.) : R” 一 (00, +eo] 为 闭 正常 凸 函 数 , 因此 , 有 与 式 (4.25) 同样 的 


关系 式 
F(Z,u) = sup {L(z,X) — (Xu) | 入 E RY} 


成 立 . 
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引 理 4.10 ”对 于 广义 Lagrange 函数 了 工 : Rn+M 一 [00, 十 oo], 函数 ZL(z,.) : 

MM 一 [-co, +oo] 对 任意 固定 的 x e Rn 均 为 上 半 连 续 的 凹 函数 ， 另 外 , 若 已 : 

Rn+M 一 (co, 十 oo] 为 凸 函数 , 则 函数 L(., 入) : Rn 一 [00, +oo] 对 任意 固定 的 
入 E RM 均 为 凸 函 数 . 

证 明 ” 先 固定 z. 因 F(z,w) + (和 ,wu) 关于 入 为 上 半 连 续 的 止 函数 ,， 故 由 式 
(4.33), 定理 2.18 和 定理 2.27 知 , L(z, 入) 关于 入 为 上 半 连 续 的 凹 函数 . 现 设 下 为 
凸 函数 , 则 F(z,w) + (A,u) 关于 (z,u) 为 凸 函数 , 于 是 利用 与 证 明 引 理 4.9 同样 的 
方法 可 证 工 (., 入 ) 为 凸 函 数 . 国 

仿照 4.2 节 中 利用 Lagrange 函数 Lo 定义 对 偶 问 题 (Do) 的 方式 , 首先 定义 函 
数 w: RN 一 [一 oo,+oco] 为 


w(A) =inf{Z(z,A)|ze R"} (4.34) 

再 利用 该 函数 定义 对 偶 问 题 如 下 : 

(D) max w(A) 

引 理 4.11 ”对偶 问题 (D) 的 目标 函数 w : RM 一 [-oo, +eo] 为 上 半 连 续 的 凹 
函数 , 并 且 与 最 优 值 函 数 $ : RM 一 [一 co, +co] 之 间 有 下 面 的 关系 式 成 立 : 

w(A) = 一 籽 (-A)， 入 ERX 

证 明 由 引 理 4.10 知 , L(z,) 为 上 半 连 续 的 四 函数 , 于 是 前 半 部 分 同 引 理 4.2 
可 证 . 利用 式 (4.32) 及 式 (4.33), 后 半 部 分 同 引 理 4.7 可 证 . 

引 理 4.12 ”关于 原始 问题 (P) 的 最 小 值 与 对 偶 问题 (D) 的 最 大 值 ， Pe 
立 : 

inf (P) = $(0), sup (D) = $°**(0) 

证 明 由 引 理 4.11 即 得 . 图 

下 面 叙述 的 定理 4.9~ 定 理 4.12 分 别 为 定理 4.5~ 定 理 4.8 到 基于 广义 Lagrange 
函数 工 而 定义 的 对 偶 问 题 (D) 的 推广 . 依据 引 理 4.9, 引 理 4.11 及 引 理 4.12, 利用 
与 前 面 定理 几乎 同样 的 方法 即 可 证 明 这 些 定理 , 故此 处 省 略 其 证 明 . 

定理 4.9 ”原始 问题 (P) 与 对 偶 问 题 (D) 之 间 有 下 面 的 关系 式 成 立 : 

inf (P) > sup (D) 
定理 4.10 ”对 于 原始 问题 (P) 与 对 偶 问题 (D)， 
inf (P) = sup (D) 

成 立 的 充 要 条 件 是 p(0) = g**(0) 成 立 . 特别 地 , 当 % 为 闭 正 常 凸 函数 时 , 后 者 必 成 
立 . 


4.4 Lagrange 对 侦 性 的 推广 .137 . 


定理 4.11 “对偶 问 题 (D) 存在 最 优 解 且 满足 
inf (P) = max(D) 
的 充 要 条 件 是 inf (P) 有 限 且 存 在 入 e RY 满足 
bu) > 0(0) — (Mu), uveER™ (4.35) 


并 且 此 时 的 入 就 是 对 偶 问题 (D) 的 最 优 解 . 此 外 , 车 % 为 正常 凸 函数 , 则 上 述 条 件 
等 价 于 3g(0) 关 儿 , 同时 还 有 关系 式 


-86(0) = 全 ceRMA|w(N) = max(D) } 


成 立 . 
定理 4.12” 设 函数 已 : R"+ 一 (一 co, 十 co] 为 凸 函 数 , 则 对 偶 问 题 (D) 存在 
最 优 解 , 并 且 满 足 
inf (P) = max(D) 
的 充 要 条 件 是 inf (P) 有 限 , 并 且 对 于 最 优 值 函数 小 存在 7 > 0 满足 
$lu) 一 4(0) > —7lull, we RY 


特别 地 , 车 inf (P) 有 限 , 并 且 0 e ri dom 路 则 后 者 必 成 立 . 

关于 函数 只 有 两 个 假设 条 件 : 一 是 要 求 式 (4.29) 成 立 , 二 是 要 求 F(zx,u) 关 
于 v 为 闭 正 常 凸 函 数 . 因此 , 对 应 于 函数 FF 的 不 同 选择 可 以 构造 出 各 种 各 样 的 对 
偶 问 题 . 特别 地 , 如 果 函 数 下 选择 得 当 , 即使 对 于 通常 的 Lagrange 对 侦 问 题 (Do) 
对 偶 性 条 件 不 成 立 , 也 有 可 能 通过 考虑 对 偶 问 题 (D) 消除 掉 对 偶 间 隙 . 下 面 介绍 构 
造 这 种 对 偶 问 题 的 具体 方法 . 

给 定常 数 r > 0, 利用 式 (4.14) 中 的 函数 三 : R"tm (一 00, 十 oo] 定义 函数 
F.:R"t™m 一 (一 co 十 oo] 如 下 : 


F(z,) = Fo(z, 1) + rull? (4.36) 
函数 瓦 是 式 (4.30) 所 定义 的 函数 五 的 特殊 形式 , 并 且 具 有 构造 对 偶 问 题 时 所 有 


应 有 的 性 质 . 由 式 (4.33), 对 应 该 函数 的 广义 Lagrange 函数 L. : Rn+m 一 R 可 表 
示 为 ( 留 作 习 题 4.9) 


Fr(z 为 =7a)+ D9, (hs9:(e)) (4.37) 
i=1 


其 中 函数 办 : R? 一 及 由 下 式 给 出 : 


aB+rB, b>-a/(2r) 


Br(0, 8) = { —a2/(4r), Pb < —a/(2r) 


(4.38) 
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利用 广义 Lagrange 函数 L; 定义 函数 wr : Rm 一 [一 00, 十 oo0) 为 
wr (A) = inf {Lr(z,N) |ze R"} (4.39) 


则 对 偶 问 题 可 表示 为 
(D-) max wr(A) 
将 定理 4.11 应 用 于 对 偶 问题 (D.) 可 得 下 面 的 定理 : 
定理 4.13 ”对 偶 问题 (D,) 存在 最 优 解 , 并 且 满 足 
inf (P) = max (Dr-) 
的 充 要 条 件 是 inf (P) 有 限 , 并 且 对 于 式 (4.13) 所 定义 的 最 优 值 函数 po, 存在 入 e 


Rm, 使 得 A 
和 (u) > 和 (0) 一人 au) - rllul2， ER (4.40) 

成 立 . 特别 地 , 满足 式 (4.40) 的 入 就 是 对 偶 问 题 (D;) 的 最 优 解 . 

证 明 ”只 需 证 明 式 (4.35), 即 式 (4.40) 即 可 . 定义 函数 办 : R™ 一 [00, 二 oo] 
为 

办 (u) = inf { F(z, u) |ze R"} 
则 有 
pr (1) =inf {Flz,u) +rlul?|ze R"} 
=$o(w) +rllull? 


将 由 = 办 代入 式 (4.35) 即 得 式 (4.40). 

定理 4.13 的 一 个 重要 之 处 就 在 干 利用 式 (4.13) 所 定义 的 最 优 值 函数 如 ee 
画 对 偶 问 题 (D;) 的 对 偶 性 条 件 . 现在 来 比较 式 (4.40) 与 Lagrange 对 偶 问 题 (Do) 
所 对 应 的 条 件 (4.26). 正如 在 定理 4.7 之 后 所 指出 的 , 式 (4.26) 表示 函数 to 的 上 
epi po 在 点 (0, po(0))7 处 具有 非 垂 直 的 支撑 超 平面 . 相对 地 , 式 (4.40) 意味 着 
epi go 在 点 (0, po(0))T 处 存在 对 称 轴 垂 直 的 抛物 型 二 次 支撑 超 曲 面 (图 4.5). 由 于 
当 r 增 大 时 , 二 次 超 曲面 的 曲率 也 变 大 , 所 以 在 7 很 大 时 , 超 曲 面 能 够 支撑 起 epi po 
的 可 能 性 也 较 大 . 因此 , 即使 通常 的 Lagrange 对 侦 问 题 (Do) 存在 对 侦 间 隙 , 当 7 
取 值 很 大 时 , 能 够 消除 对 偶 问 题 (D,) 的 对 偶 间隙 的 情况 并 不 少见 . 


和 (0) 一 (和 邮 一 州 吉 


图 4.5 对 偶 间 隙 的 消除 ( 例 4.8) 
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例 4.8 ”考虑 例 4.4 中 的 问题 . 由 于 
42 一 4 十 1/4， < 一 1/2 
lu) = —u mut+3/4, lul<1/2 
0, u>1/2 
因此 , 不 存在 和 满足 式 (4.26). 但 若 令 + > 1, 则 式 (4.40) 在 入 = 1 时 成 立 (图 4.5)， 
因此 , 对 偶 问 题 (D;) 在 > > 1 时 有 最 优 解 和 = 1, 并 且 
min (P) = 3 = max(Dr) 


成 立 . 实际 上 , 若 考虑 r = 2 的 情形 , 则 由 式 (4.37)~(4.39) 可 得 对 偶 问 题 (D2) 的 目 
标 函 数 为 


一 X2/8， 入 < -2 

A/2+ 1/2, -2<A<0 
wz( 和) = 4 一 (入 一 1)2/4+3/4， 0<A<2 

—A/2 + 3/2, 2<A<4 


—(A—1)2/12+1/4, 和 A>4 

故 wz(A) 在 入 = 1 处 取得 最 大 值 , 其 最 大 值 为 3/4. 

最 后 介绍 关于 原始 问题 (P) 与 对 偶 问 题 (D,) 的 对 偶 性 条 件 成 立 的 充分 条 件 
的 定理 (证 明 省 略 ). 该 定理 表明 , 在 适当 条 件 下 , 满足 问题 (P) 的 KKT 条 件 的 
Lagrange 乘 子 和 当 r > 0 充分 大 时 为 对 偶 问 题 (D-) 的 最 优 解 . 

定理 4.14 ” 设 问 题 (P) 中 的 目标 函数 f 与 约束 函数 9% (i = 1,… ,m) 均 
为 二 阶 连续 可 微 , 而 二 & R" 为 满足 二 阶 充分 性 条 件 的 唯一 最 优 解 ， 假 定 水 平 集 
{z ER"| f(z) < a,gi(z) < ui(i= 1 …,m)} 对 任意 a eR 及 wu € Rnm 均 为 紧 集 ， 
并 且 函 数 


Dr(z,0) = f(z) + "Dax{o, gi(2)}]? 
当 r > 0 充分 大 时 有 下 界 , 则 有 相 
min (P) = max (Dr) 
成 立 , 并 且 满 足 KKT 条 件 (3.14) 的 Xe Rnm 为 对 偶 问 题 (D,) 的 最 优 解 . 
证 明 ”参见 文献 Rockafellar (1974a). 国 


4.5 ”Fenchel 对 偶 性 


在 前 面 几 节 的 讨论 中 , 原始 问题 (P) 的 目标 函数 9 是 按照 式 (4.9) 来 定义 的 , 但 
这 并 非 本 质 所 在 . 实际 上 , 定理 4.9~ 定理 4.12 中 的 结论 对 于 任意 以 函数 9 : Rn 一 
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(-co, +ooc] 为 目标 函数 的 原始 问题 (P) 仍然 成 立 . 这 启发 我 们 , 4.4 节 中 的 对 偶 性 
理论 不 仅 针 对 像 问题 (4.5) 那样 的 不 等 式 约束 问题 , 也 有 可 能 将 其 应 用 到 其 他 各 种 
各 样 的 问题 上 去 . 本 节 考 查 原始 问题 (P) 的 目标 函数 由 下 式 给 出 的 情形 : 

bz) = f(z) + g(Az) 


其 中 f :Rm 一 (00, 二 oo] 与 9g: Rm 一 (一 00, 十 00] 均 为 闭 正常 凸 函数 , 4 为 mxn 
阶 和 矩阵 . 也 即 原始 问题 为 如 下 关于 闭 正常 凸 函 数 的 最 小 化 问题 : 


(Pr) min f(z) +g(Az) 
为 了 推导 该 问题 的 对 偶 问 题 , 定义 函数 :Rm"tm 一 (一 oo, +eo] 为 
F(z,u) = f(z)+g(Azx+u) (4.41) 


显然 , 下 为 闭 正常 凸 函数 , 并 且 满足 
F(z2,0)=0(z), rz ER”" 
进一步 , 定义 函数 $ : Rm 一 [一 co, +oo] 为 
da) = inf {Fle,w) |ze R"} 
于 是 有 下 式 成 立 : 
inf (Pr) = $(0) 
由 式 (4.33) 及 式 (4.41), 广义 Lagrange 函数 工 : R"tm 一 [一 oo, 二 oo] 可 表示 为 
Lz,N)=inf {f(z) +9(Az2+u)+ (NW)|ue R"} 
=f(2)—g"(- 和 NN) 一 (入 4z) 
i (4.34), 对 偶 问 题 的 目标 函数 w : Rm 一 [一 00, +o0) 可 定义 为 如 下 闭 四 函 
w=inf {f(z) -9°(-N) — (N\Az)|z eR"} 
= 一 六 (47A) —g"(-A) 
最 大 化 闭 正 常 四 函数 w 的 问题 
(Dr) max —f"(A'N)—g'(-A) 
称 为 问题 (Pr) 的 Fenchel 对 偶 问 题 (Fenchel's dual problem). 显然 , 问题 (Dr) 等 
价 于 下 面 的 闭 正 常 凸 函数 的 最 小 化 问题 : 
min f*(ATA)+g'(-A) 
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由 于 式 (4.41) 所 定义 的 函数 下 为 凸 函 数 , 所 以 对 于 原始 问题 (Pp) 和 对 偶 问 题 
(DF) 有 定理 4.12 成 立 . 下 面 的 定理 给 出 了 使 Fenchel 对 偶 问 题 的 对 偶 性 条 件 成 立 
的 充分 条 件 . 

定理 4.15 ”车 在 原始 问题 (Pp) 中 inf (PF) 有 限 , 并 且 


ridom gN Aridom f #8 (4.42) 
成 立 , 则 对 偶 问 题 (Dr) 存在 最 优 解 , 并 且 有 下 面 的 关系 式 成 立 : 
inf (Pk) = max (DF) 


证 明 ”对 给 定 的 w %(u) < +o0 成 立 的 充 要 条 件 是 {xz es R"| f(z) < +o%， 
g(Az + wu) < +o0} 关 QB， 由 于 后 者 等 价 于 存在 z e dom 了 及 3% es dom 9 满足 
Az +u = 二 y, 因此 有 

dom $=domg— Adomf (4.43) 


由 式 (4.43) 与 定理 2.5 知 
ri dom $=ridom g— Aridomf 


因此 , 式 (4.42) 等 价 于 
OEridomgy (4.44) 


由 于 4 为 正常 凸 函数 , 由 定理 2.48, 当 式 (4.44) 成 立时 必 存 在 Xe Rm, 使 得 式 (4.35) 
成 立 , 从 而 由 定理 4.11 知 , 对 偶 问 题 (Dr) 存在 最 优 解 , 并 且 inf (PF) = max (DF). 
国 
例 4.9 考虑 问题 
min f(z) 
st. AreC 
其 中 f : Rn 一 (-co,+oo] 为 闭 正常 凸 函数 , C C Rm 为 非 空间 凸 锥 ,而 A 为 mxn 
阶 和 矩阵 . 定义 闭 正 常 凸 函数 9 : Rm 一 (00,+o0] 为 


Wy yeC 
| +00, YC 


则 上 面 的 问题 可 表示 成 (Pr) 的 形式 . 另外 , 利用 C 的 极 锥 C* = {入 eR"™|( 和 ,y) < 
0,y e C} 可 将 凸 函 数 g 的 共 罗 函 数 g* 表示 为 


本 
"ol AgC* 
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这 样 对 偶 问 题 (DF) 就 等 价 于 最 小 化 问题 
min f*(ATA) 
st. -AEOC* 
进一步 , 由 定理 4.15, 车 inf{f(z)| Az e C} 有 限 且 ri Cn Ari dom f 关 2 成立 , 则 
存在 入 e -C" 满足 
inf {f(z)| Az eC} =—min {f°(AT™A)| AE -C0*} = -f°(AT™D) 
利用 Fenchel 对 偶 问 题 的 思想 也 能 够 推导 出 例 4.1 中 的 线性 规划 问题 的 La- 


grange 对 偶 问 题 . 
例 4.10 ”考虑 如 下 线性 规划 问题 : 


min (c,z) 
Sst. 4z >pb 


分 别 定义 凸 函数 了 与 9 为 
f(z)=(cz) 


0， 2>b 
| 0 6 


于 是 上 面 的 线性 规划 问题 可 表示 成 (PF) 的 形式 . 函数 f 与 9 的 共 生 函 数 分 别 为 


0, AU 一 e 
十 oo， 有 天 c 


,| -(b,N, A>0 
9 »-{ -roo， A¥0 


rw-{ 


因此 , 对 偶 问题 (DF) 即 为 如 下 线性 规划 问题 : 


max (b, 和 ) 
st. 4IA=c A>0 


4.6 半 定 规划 问题 的 对 偶 性 


本 节 将 通过 推广 4.5 节 的 结果 来 建立 关于 半 定 规划 问题 的 对 偶 定 理 ， 对 于 n 
阶 实 对 称 矩 阵 空间 S" 中 定义 的 广义 实 值 函数 f, 若 上 图 epi f = {(X,A) € Sn x 
R|f(X) < p) 为 凸 集 , 则 称 为 凸 函 数 . 关于 R” 上 的 凸 函数 的 各 种 概念 可 以 自然 
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地 推广 到 S" 上 的 凸 函数 四 . 特别 地 , 在 Sn 中 定义 内 积 为 (S,XX) = tr [SX], 并 定 
义 正 常 凸 函数 有: Sn 一 (-oo,+oo] 的 共 斩 函 数 f" : S" 一 (一 oo, 十 co] 为 


f(s)=sup {(3,X)—/(X)|X e 5"} 


则 与 Rn 的 情形 一 样 , f* 为 Ss* 上 的 闭 正常 凸 函 数 . 
现 将 正常 凸 函 数 f : Sn 一 (一 00, +oo] 与 g: Rm 一 (~o0, 十 oo] 以 及 线性 映射 
4:Sn" 一 Rnm 所 定义 的 问题 


min f(X)+g(A[X]) (4.45) 


作为 原始 问题 , 则 对 应 的 Fenchel 对 偶 问题 为 
max 一 广 (4 [) 一 9 (一 A) (4.46) 


其 中 4" : Rm 一 Sn" 是 由 (4*[ 内 ,天 ) = (和 ,A[ 义 ]) 定义 的 4 的 伴随 映射 . 注意 到 
(4A*[A], 六) 为 S" 中 的 内 积 , 而 (入, A[X]) 为 RW 中 的 内 积 . 虽然 原始 问题 (4.45) 
为 S" 中 凸 函 数 的 最 小 化 问题 , 而 对 偶 问 题 (4.46) 为 Rm 中 四 函数 的 最 大 化 问题 ， 
但 对 这 些 问题 4.5 节 中 的 Fenchel 对 偶 定理 4.15 仍然 适用 . 


以 下 面 的 半 定 规划 问题 为 例 : 
(Ps) min {Ao,X) 
st. bi—(Ai,X)=0, i=1,..…,m 


不 二 OO, 大 ESnm 
分 别 定义 凸 函数 f : Sn" 一 (co,+oo] 与 9 : Rnm 一 (一 00, 十 oo] 如 下 : 


_| (A0,X), X>-O 
re0-{ +oo， X¥O 


ej y=b 
| wool 
并 定义 线性 映射 4 : Sn 一 Rm 为 4[X] = ((A1, 久 ),… , (Am, 藉 ))T, 则 问题 (Ps) 
可 表示 成 问题 (4.45) 的 形式 . 进一步 , f 与 g 的 共 罗 函 数 分 别 为 

wn_f0 Ah-s>-0o 

f | +o0, Ao—-E¥0O 

9°(N)=(b,N) 

人 @ 更 确切 地 讲 , 凸 分 析 理论 可 以 拓展 到 包含 Rn 或 Sn 等 特殊 情形 的 向 量 空间 中 . 
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而 由 伴随 映射 的 定义 可 得 m 
A N= DAN 
i=1 
因此 , 对 偶 问题 (4.46) 可 表示 如 下 : 
(Ds) max So 


i=l1 
st. Ao-d ,AN>O 
i=l1 
A 和 ER™ 
该 问题 可 进一步 表示 为 


mm 
max > biX 
ml 


Ss.t. > 4iN + 号 二 Ao 
SS O, AeER™ 
下 面 考查 使 得 原始 问题 (Ps) 与 对 偶 问 题 (Ds) 之 间 对 偶 性 条 件 成 立 的 条 件 . 若 
XeSn 满足 bi 一 (Ai,X)=0 (i=1,.…,m) 及 >0O，, 则 称 之 为 原始 问题 (Ps) 
的 严格 可 行 解 (strictly feasible solution). 车 入 eR"™ 满足 Ao 一 DA > O, 则 
称 之 为 对 侦 问题 (Ds) 的 严格 可 行 解 
定理 4.16 ”车 原始 问题 (Ps) 存在 严格 可 行 解 , 并 且 inf (Ps) 有 限 , 则 对 偶 问 
题 (Ds) 存在 最 优 解 , 并 且 有 如 下 关系 式 成 立 : 
inf (Ps) = max (Ds) 
证 明 ”由 函数 f 与 g 的 定义 , 定理 4.15 中 的 条 件 
ridom gN Alri dom f] #82 
等 价 于 问题 (Ps) 存在 严格 可 行 解 . 国 
定理 4.17 ” 若 对 偶 问 题 (Ds) 存在 严格 可 行 解 , 并 且 sup (Ds) 有 限 , 则 原始 问 
题 (Ps) 存在 最 优 解 , 并 且 有 如 下 关系 式 成 立 : 
min (Ps) = sup (Ds) 
证 明 将 问题 (Ds) 视 为 原始 问题 , 然后 应 用 定理 4.15, 则 结论 成 立 的 条 件 变 


为 
ridom f*NA'[-ridom g*]#% (4.47) 


由 f* 及 g* 的 定义 有 
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ridom f* = {ses"|Aho>~ 5s}, ri dom g* = Rm 

因此 , 式 (4.47) 等 价 于 存在 jy € Rm 满足 -4*[ 由 Eridom f°*, 也 即 4o > 一 A*[4]. 
令 入 = 一, 则 ho > 一 4*[j] 变 成 ho - 4*"[ > O, 因此 , 式 (4.47) Re 
题 (Ds) 存在 严格 可 行 解 . 

由 上 述 两 个 定理 可 得 下 面 的 定理 : 

定理 4.18 ”车 原始 问题 (Ps) 与 对 偶 问 题 (Ds) 均 存 在 严格 可 行 解 , 则 双方 也 
均 存 在 最 优 解 , 并 且 有 

min (Ps) = max (Ds) 

成 立 . 

证 明 由 定理 4.16 与 定理 4.17, 只 需 证 明 inf (Ps) 与 sup (Ds) 均 为 有 限 
值 即 可 . 事实 上 ， 由 于 原始 问题 与 对 偶 问题 均 含 有 可 行 解 , 故 inf (Ps) < +oo 且 
sup (Ds) > -co. 再 由 弱 对 偶 定 理 4.9 知 , inf (Ps) > sup (Ds) 成 立 , 因此 ，inf (Ps) 
与 sup (Ds) 均 有 限 . 加 

例 4.11 在 原始 问题 (Ps) 中 设 ”= 2, m = 1 并 且 


矩阵 变量 多 < S2 记 为 
X= | Z1 TZ2 | (4.48) 


2x2 阶 矩 阵 的 半 正 定 条 件 瑟 二 O 即 为 tr 瑟 >0 且 det 和 >0, 这 等 价 于 zi+zs>0 
且 zizs 一 272 之 0. 另外 , 约束 条 件 (4:,X) = b1 即 为 2r = 2. 于 是 该 问题 的 约束 
条 件 等 价 于 

T1 十 IT3 志 0，YTrirzs 过 1，72 一 1 
因此 存在 严格 可 行 解 . 由 于 目标 函数 为 (4o, 瑟 )= zi+zs, 故 其 最 优 解 为 (zl, za,zas) 
= (1, 1,1), 而 其 最 小 值 为 2. 另 一 方面 , 对 偶 问 题 (Ds) 的 约束 条 件 

40 -AN = | We y | -0 
等 价 于 1 - 3 > 0, 因此 , 对 偶 问 题 也 存在 严格 可 行 解 . 又 由 于 目标 函数 为 bi 和 1 = 
2A1, 故 对 偶 问 题 的 最 优 解 为 和 = 1, 最 大 值 为 2. 显然 有 

min (Ps) = 2 = max (Ds) 

成 立 . 
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如 下 面 的 例子 所 示 , 如 果 原 始 问题 只 有 可 行 解 , 那么 即使 inf (Ps) 为 有 限 值 也 
未 必 能 保证 对 偶 性 条 件 成 立 . 
例 4.12 在 原始 问题 (Ps) 中 设 n=2,m=1, 并 且 


1 1 0 
= ，Ai= ,hh=0 
si | 


矩阵 变量 Xe S? 仍然 用 式 (4.48) 来 表示 , 于 是 约束 条 件 (4;,X) = 即 为 zi = 0. 
再 考虑 到 半 正 定性 条 件 义 > O, 该 问题 的 约束 条 件 等 价 于 

T1 一 Z2 一 0，za>0 
另外 , 正定 性 条 件 入 > 0 即 为 z1+z3 > 0, zlzs 一 z2 > 0, 该 条 件 与 ri = 0 不 可 能 同 
时 成 立 , 因此 原始 问题 没有 严格 可 行 解 . 此 外 , 由 于 目标 函数 为 (Ao, XX) = zi 十 2z2， 
故 最 优 解 为 (z1, rz, ras) = (0,0,a) (其 中 a > 0 任意 ), 而 最 小 值 为 0. 另 一 方面 , 对 
侦 问题 (Ds) 的 约束 条 件 为 


l—-A1 1 
0 


显然 , 不 存在 Xi e R 满足 该 条 件 , 因此 对 偶 问 题 是 不 可 行 的 , 这 样 就 有 


min (Ps) = 0 > —00 = sup (Ds) 


| 区 


故 存在 对 偶 间 阶 . 


4.7 习 题 


4.1 试 求 出 由 下 式 定 义 的 函数 天 : R x R 一 R 的 鞍点 : 
K(y,2) = -yz— 2 —2y+z 
4.2 试 证 明 ; 若 (yi,zl) EY x 2 与 (,z?) EY x2 均 为 函数 K:YxZ 一 RR 
的 鞍点 , 则 有 K(y!,z!) = K(y?,z?) 成 立 , 并 且 (yl1, z?) 与 (22, z1) 也 是 K 的 鞍点 . 
4.3 试 推导 出 如 下 线性 规划 问题 的 Lagrange 对 偶 问 题 : 
min {c,z) 
Sst. Az>b,zxz>0 
4.4 设 Q 为 对 称 正定 矩阵 . 试 推导 出 如 下 二 次 规划 问题 的 Lagrange 对 偶 问 
题 : 
min 《ciz) 十 ie,9a) 
st. Az>b 
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4.5 试 证 明 引 理 4.4. 
4.6 考虑 等 式 约束 问题 . 
min f(z) 
St. AT=b 
其 中 f : Rn 一 (一 00, 十 co]， 定 义 该 问题 的 Lagrange 函数 为 Lo(z, 入 ) = f(z)+ 
{和 ,5b 一 Az), 试 推导 其 对 偶 问题 . 
4.7 设 Q 为 对 称 正定 矩阵 . 试 利用 习题 4.6 的 结果 分 别 推导 出 线性 规划 问题 
min (c,2) 
st. Ar=b,z>0 


与 二 次 规划 问题 , 
min 《〈c,z) 十 3,Qza) 
St. 4zZ=b Z>0 
的 对 偶 问 题 . 

4.8 试 判断 关于 下 列 问题 的 Lagrange 对 偶 问题 是 否 有 inf (P) = sup (Do) 成 
立 : 


(1) min Vizl 

st. 1l—-rzr<0, zeER 
(2) min |z?—2|+z 

st, z+1<0 zeER 


车 结论 不 成 立 , 试问 利用 怎样 的 广义 Lagrange 函数 可 以 消除 对 偶 间 隙 ? 
4.9 对 于 任意 7 > 0 以 及 由 式 (4.36) 定义 的 函数 FF : Rntm 一 (一 00, 十 09], 证 
明 与 之 对 应 的 广义 Lagrange 函数 L, : Rnt+tm 一 R 可 表示 为 式 (4.37) 的 形式 , 并 验 
证 L.(z,:) : Rm 一 R 的 连续 可 微 性 . 
4.10 对 于 由 正常 凸 函数 f : Rn 一 (一 00, +00|] 与 9 : Rm 一 (一 00, 二 oo] 以 及 和 拢 
阵 Ae Rmxn 定义 的 问题 
min f(z)+g(Az) 
试 通过 其 等 价 形式 
min f(z)+g(y) 
st. Az—-y=0 
的 Lagrange 对 偶 问 题 推 导出 其 Fenchel 对 偶 问 题 (见习 题 4.6). 
4.11 试 利用 定理 4.16 证 明定 理 3.25. 
4.12 给 定 对 称 和 矩阵 A; e Sm (i = 0,1,:… ,m), 考虑 由 


A(z) = Ao 二 Zz1Al 二 … 十 zmAm 
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定义 的 函数 4 : RW 一 S". 欲 判断 是 否 存在 z < R™, 使 得 矩阵 4(z) 的 最 小 特征 
值 为 正 , 只 需 判断 半 定 规划 问题 
Iax t 
st. A(z)-tI>O 
zeER"™,teR 
的 最 大 值 是 否 为 正 即 可 . 试 推 导出 该 半 定 规划 问题 的 对 偶 问 题 . 
4.13 在 例 4.12 中 , 令 ho 为 


试问 是 否 存在 对 偶 间 阶 ? 
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虽然 变 分 不 等 式 问题 、 互 补 问题 等 所 谓 均衡 问题 并 非 极 小 化 某 个 特定 目标 函 
数 的 最 优化 问题 , 但 由 于 非 线性 规划 问题 的 KKT 条 件 能 够 表示 成 这 些 均衡 问题 的 
形式 , 所 以 从 某 种 意义 上 来 讲 , 均衡 问题 也 可 看 成 是 包含 最 优化 问题 在 内 的 更 广泛 
的 一 类 问题 . 进一步 , 由 于 均衡 问题 无 论 在 概念 上 , 还 是 在 方法 上 都 与 最 优化 问题 
有 很 多 共通 之 处 , 所 以 常常 放 在 最 优化 理论 的 框架 内 来 研究 . 本 章 首先 在 5.1 节 中 
介绍 几 种 属于 均衡 问题 范畴 的 问题 , 并 在 5.2 节 中 讨论 变 分 不 等 式 与 互补 问题 的 解 
的 存在 性 与 唯一 性 ; 之 后 , 在 5.3 节 中 介绍 将 均衡 问题 再 定式 为 等 价 方程 组 的 方法 ， 
并 在 5.4 节 中 讲解 将 均衡 问题 转化 为 最 优化 问题 的 价值 函数 ; 最 后 , 在 5.5 节 中 介 
绍 比 均衡 问题 更 广泛 , 并 且 在 现实 中 有 着 各 种 各 样 应 用 的 均衡 约束 数学 规划 问题 
(MPEC) 及 其 性 质 . 


5.1 变 分 不 等 式 与 互补 问题 


给 定 非 空 闭 凸 集 5 Cc R" 及 向 量 值 函数 F : Rn 一 R"， 变 分 不 等 式 问 题 
(variational inequality problem) 即 求解 向 量 = e 5 满足 如 下 不 等 式 : 


(F(z),y—2)2>0, yesS (5.1) 
由 凸 集 5 的 法 锥 Ns(z) 的 定义 (3.7), 式 (5.1) 可 表示 为 
OeF(r)+ Ns(z) (5.2) 


式 (5.2) 可 看 成 求解 点 集 映射 +jNs : Rn 一 PP(R") 的 零点 , 因此 , 变 分 不 等 式 问题 
也 被 称 为 广义 方程 (generalized equation). 当 映 射 下 恰 为 某 个 可 微 函数 f : Rn 一 RR 
的 梯度 映射 Vf : Rn 一 Rn 时 , 式 (5.2) 变 为 

OE€Vf(z)+ Ns(7r) 
故 由 定理 3.3, 式 (5.1) 表示 在 凸 集 S 上 求 函数 f 的 最 小 值 问 题 的 最 优 性 条 件 。 特 
别 地 , 当 /为 凸 函数 时 , 该 极 值 问题 与 变 分 不 等 式 问 题 (5.1) 等 价 . 


例 5.1 考虑 如 下 定义 的 映射 已 : R2 一 R2 与 闭 凸 集 S C R2 所 确定 的 变 分 
不 等 式 问 题 (5.1): 
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eh 
‘0 
1 2 26 
Ct 
5S= {zeR?|2z1+5r2 <9, 371+2z2 <8, 21 >0,72 >0} 


如 图 5.1 所 示 , 至 = (2,1)T 为 该 问题 的 解 . 


图 5.1 例 5.1 中 的 变 分 不 等 式 问题 


变 分 不 等 式 问题 (5.1) 中 特别 重要 的 是 集合 5 为 如 下 长 方 体 (rectangle) 的 情 
形 : 
S= {zeR"|i<z Su i=1,..,n} (5.3) 
其 中 li € [-oo,+oo) 且 wi € (-oo,+ool (i = 1,… ,n). 特别 地 , 当 1; = -oo 或 
Wi = 十 00 时 , li < zi 与 zi < ui 分 别 意味 着 -co < zi 及 zi < +co. 因此 , 一 般 来 
说 , 长 方 体 不 只 限于 有 界 长 方 体 . 另外 , 由 于 当 -oo < 站 = ui < +oo 时 , 变量 ci 可 
视 为 常数 , 以 下 总 假定 i; < wi. 下面 的 定理 说 明 , 在 长 方 体 上 定义 的 变 分 不 等 式 问 
题 能 够 表示 成 各 个 分 量 的 不 等 式 . 
定理 5.1 设 集 合 5 为 式 (5.3) 所 定义 的 长 方 体 , 则 变 分 不 等 式 问题 (5.1) 与 
下 式 等 价 : 对 任意 ie {1,… ,n} 均 有 


F(T)(yi — Zi) > 0, yi € lli,t] (5.4) 


其 中 F(z) = (F(z),… , Fn(2))T. 

证 明 者 式 (5.4) 对 任意 i 均 成 立 , 则 (5.1) 显然 成 立 . 反之 , 假设 存在 re 5， 
使 得 式 (5.1) 成 立 , 则 对 每 个 给 定 的 指标 i, 当 向 量 ye 5 满足 Wi = zj (i 关 i) 时 总 
有 (F(z),y Zz) = F(z)(yi 一 Ti) 之 0, 故 式 (5.4) 成 立 . 县 

对 于 式 (5.3) 所 定义 的 长 方 体 5, 由 于 必要 时 可 进行 适当 的 变量 替换 , 因此 , 不 
失 一 般 性 , 可 假设 指标 集 N = {1,.… ,mn} 有 如 下 分 解 : 


N=MUNUNs 
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其 中 An = {i|li= -oo = ++o0}, N= {i|li=0,w=+00}, Ns={i| 一 oo< 
li < ui < +o0}. 于 是 由 式 (5.4), 变 分 不 等 式 问题 (5.1) 可 表示 如 下 : 
F(x) =0, iE€ NM 
{ zi20, F(z)>0, ,ew, 
Ti>0> F(z)=0, 


li < Ti < ui, (5.5) 
Ti=li= F(z) >0, 
li<zi< ui F(z)= 0, 
Ti=Wi> F(z) 0, 

特别 地 , 当 Na = Na = @ 时 , 变 分 不 等 式 问题 (5.1) 归结 为 非 线性 方程 组 

F(z)=0 


另外 , 当 M = As = 儿 时 有 3= Ri= {ze R"|z > 0}, 故 变 分 不 等 式 问题 (5.1) 
可 表示 为 


iENs 


Ti>0, Fi(z)>0, 

Ti>0> F(z)=0, 
这 意味 着 对 每 个 指标 i, zi 与 F(z) 均 为 非 负 值 , 并 且 至 少 有 一 个 为 0. 上 述 条 件 进 
一 步 等 价 于 


i=1,.… ,1 


rz>0, F(z)>0, (F(z),z)=0 (5.6) 
集合 R* 上 的 变 分 不 等 式 问题 , 也 即 求解 满足 式 (5.6) 的 向 量 = € R" 的 问题 称 为 互 
补 问题 (complementarity problem) 或 者 非 线性 互补 问题 (nonlinear complementarity 
problem). 特别 地 , 若 映射 FF 可 由 n x n 阶 矩 阵 M 及 nn 维 向 量 gq 定义 为 F(x) = 
Mz + gq, 则 称 为 线性 互补 问题 (linear complementarity problem). 此 外 , 求解 满足 
式 (5.5) 的 向 量 z 的 问题 称 为 混合 互补 问题 (mixed complementarity problem). 

例 5.2 考虑 由 下 式 定义 的 映射 五 : R? 一 R? 所 确定 的 非 线 性 互补 问题 (5.6): 

2Z1 十 22 一 2 
RS ( z2+2 ) 

当 盏 = (2,0)7 时 , FF(E) = (0,2)T, 故去 = (2,0)7 为 该 互补 问题 的 解 . 

第 3 章 中 讨论 过 的 非 线性 规划 问题 的 KKT 条 件 (3.14) 与 (3.22) 正 是 以 (zx, 入 ) 
或 (z, 入 ,4) 为 变量 的 混合 互补 问题 . 因此 , 从 某 种 意义 上 来 讲 , 混合 互补 问题 可 看 
成 是 包含 非 线性 规划 问题 在 内 的 更 广泛 的 一 类 问题 . 

下 面 考虑 由 凸 函数 g; : Rn 一 R (i = 1 … ,m) 及 仿 射 函数 h; : Rn 一 RR 
( = 1,… ,1) 定义 的 如 下 集合 5 所 确定 的 变 分 不 等 式 问题 : 


$= {zeR"|g(s) <0i=1 mhz) =0,7=1,.…,!} 
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假定 在 变 分 不 等 式 问题 (5.1) 的 解 = e 5 处 满足 适当 的 约束 规范 ( 见 3.3 节 ), 则 利 
用 与 定理 3.14 类 似 的 推导 可 证 : 存在 Lagrange 乘 子 Xe Rm 及 jE Ri 使 得 


mo 上 
F(z) + DMVoi(z) + nvhi(z)=0 
i=l j=1 


N20, gz) < 0, Mgi(z)=0, i=1,.…,m 
hi(z)=0, j=1,.,!l 


式 (5.7) 称 为 变 分 不 等 式 问题 (5.1) 的 Karush-Kuhn-Tucker 条 件 . 式 (5.7) 可 看 
成 是 以 (x, 入 ,py) 为 变量 的 混合 互补 问题 . 


5.2 解 的 存在 性 与 唯一 性 


对 于 变 分 不 等 式 问题 (5.1), 定义 映射 吾 。 : Rn 一 R" 如 下 : 
五 o(z) = Ps(z — aF(z)) (5.8) 

其 中 a > 0 为 常数 , Ps 表示 到 闭 凸 集 5 上 的 投影 算 子 . 下 面 的 定理 给 出 了 变 分 不 
等 式 问 题 (5.1) 有 解 的 一 个 充分 条 件 : 

定理 5.2 ”给 定 映射 下 : Rn 一 Rn 与 非 空 闭 凸 集 5 C R", z € 5 为 变 分 不 等 
式 问 题 (5.1) 的 解 的 充 要 条 件 是 x = 五 (z) 成 立 . 进一步 , 若 FF 连续 且 5 为 紧 集 ， 
则 变 分 不 等 式 问题 (5.1) 有 解 . 

证 明 ”由 万 。 的 定义 (5.8) 以 及 投影 算 子 的 性 质 (定理 2.6) 知 


(5.7) 


(z—aF(z)— Ho(z),y — Hal(®)) <0, yes (5.9) 
若 H。(z) = z, 则 由 式 (5.9) 可 得 
(aF(z),y— Zz)>0, yes {5.10) 


由 于 a > 0, 式 (5.10) 即 表明 z 为 变 分 不 等 式 问题 (5.1) 的 解 . 反之 , 若 z 为 变 分 
不 等 式 问题 (5.1) 的 解 , 则 对 任意 a > 0 均 有 
(aF(z),z—Yy) <0, yes 
在 上 式 及 式 (5.9) 中 分 别 取 y = 互 a(z) 及 y = z, 然后 相 加 可 得 
{2— Ha(2),2 — Hoa(z)) = ||z — Ha(z)|* < 0 
此 即 意味 着 z = Ha(z). 
由 定理 2.7, 当 了 映射 下 连续 时 , 由 式 (5.8) 定义 的 映射 五 。 也 连续 . 此 外 , 由 投 


影 算 子 的 定义 , 对 所 有 ze 5 均 有 五 。(z) e 5, 故 由 Brouwer 不 动 点 定理 2.16 知 ， 
必 存 在 re 5 满足 = = Ha(z). 国 
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车 集合 S 为 无 界 集 , 则 当 映 射 F 满足 适当 条 件 时 , 也 可 以 保证 变 分 不 等 式 问 
题 的 解 的 存在 性 . 称 映射 FF: R" 一 R" 在 集合 5 上 是 强制 的 (coercive), 如 果 存 在 


z0 € 5, 使 得 (Ptz),z — zo) 


1 

lal llzll 

若 映 射 FF 在 5S 上 强 单调 , 则 F 在 9 上 是 强制 的 ( 留 作 习题 5.4). 考虑 下 面 与 (5.1) 
相关 的 变 分 不 等 式 问题 : 


= +oo (5.11) 


(F(z),y — 2)>0, yesSr (5.12) 
其 中 5; 为 由 某 常数 > > 0 定义 的 如 下 凸 集 : 
5S-=SNB(0,7)= {zeR"|zes, lel <r} 


由 定理 5.2, 当 映 射 F 连续 且 集 合 5, 非 空 时 , 变 分 不 等 式 问题 (5.12) 至 少 存在 一 
个 解 rr e 5,. 首先 证 明 下 面 的 引 理 : 

引 理 5.1 设 下:R" 一 Rn 为 连续 映射 , SC Rn 为 非 空 闭 凸 集 , 则 变 分 不 等 
式 问题 (5.1) 有 解 的 充 要 条 件 是 存在 某 个 常数 + > 0, 使 得 变 分 不 等 式 问题 (5.12) 
具有 满足 lzr|| < > 的 解 rr e 5;. 

证 明 ”必要 性 显然 , 下 证 充分 性 . 设 mr e Sr 为 变 分 不 等 式 问题 (5.12) 的 一 个 
满足 lzrll < r 的 解 . 对 任意 y e 5S 及 te (0,1), 记 z(t) = zer+tg- zzr), 则 当 
t> 0 充分 小 时 有 ||z(t) <r 且 zt E 5, 也 即 z(t) € 5;. 因 zr 为 变 分 不 等 式 问题 
(5.12) 的 解 , 则 有 

(F(z"),y- 2")=t (F(z"), z(t) — 2") >0 
由 ye 5 的 任意 性 知 , z7 为 变 分 不 等 式 问题 (5.1) 的 解 . 国 

利用 引 理 5.1 可 证 明 下 面 的 定理 . 

定理 5.3 设 正 : Rn 一 Rn 为 连续 映射 , 5 C Rn 为 非 空 闭 凸 集 . 若 正在 3 
上 是 强制 的 , 则 变 分 不 等 式 问题 (5.1) 有 解 . 

证 明 由 设 存 在 z0 e 5 满足 式 (5.11), 故 当 > > 0 充分 大 时 必 有 


(FE(z),z-m0)>0，ze3,lzl=r {5.13) 


不 失 一 般 性 , 可 假设 + > ||z 串 . 现 设 z” e 5, 为 变 分 不 等 式 问题 (5.12) 的 解 ， 
zo € 9-, 故 有 
(F(T"),2° 一 cr) >0 
由 于 式 (5.13) 成 立 , 因此 , 上 述 不 等 式 蕴涵 ||z"|| 关 7, 也 即 lzrl < es 
5.1 知 , 变 分 不 等 式 问 题 (5.1) 有 解 . 
如 5.1 节 所 述 , 若 下 为 凸 函数 了 : Rn 一 R 的 梯度 映射 ， 和 
(5.1) 等 价 于 凸 函数 太 在 凸 集 5 上 的 最 小 化 问题 . 由 定理 3.1, 上 述 最 优化 问题 的 解 
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集 为 凸 集 . 另 一 方面 , 由 定理 2.68, 凸 函数 的 梯度 映射 为 单调 映射 , 因此 , 猜测 五 为 
单调 映射 时 的 变 分 不 等 式 问题 的 解 集 也 是 凸 集 . 下 面 的 定理 证 实 了 这 个 猜测 ， 
定理 5.4 设 下 :R" 一 Rn 为 连续 映射 , 5 Cc Rn 为 非 空 闭 凸 集 . 车 下 在 5 
上 单调 , 则 变 分 不 等 式 问 题 (5.1) 的 解 集 为 闭 凸 集 . 车 下 在 5 上 严格 单调 , 则 变 分 
不 等 式 问题 (5.1) 至 多 存在 一 个 解 . 若 F 在 9 上 强 单调 , 则 变 分 不 等 式 问题 (5.1) 
存在 唯一 解 . 
证 明 ”由 单调 映射 的 定义 有 


(F(z),z ~ 2) > (F(z),z—7), Zz,zES 
故 当 ze 5 为 变 分 不 等 式 问题 (5.1) 的 解 时 必 有 
(F(z),z—2)>0, zeEeS (5.14) 


成 立 . 反之 , 满足 式 (5.14) 的 z e 5 也 必 为 变 分 不 等 式 问题 (5.1) 的 解 . 事实 上 , 任 
取 ye5S 及 te (0,1), 记 z(t) = (1 一 )z+ty. 因 5 为 凸 集 , 故 有 z(t) e 5S. 因此 ， 
由 式 (5.14) 知 
0 < (F(z(t)), z(t) — 2) = F(z(t)),y — 2) 
成 立 . 上 式 两 侧 同 时 除 以 t, 并 令 t+ 一 0, 则 由 FF 的 连续 性 可 得 
(F(z),y— 7)>0 


由 y € 5 的 任意 性 , 上 式 即 表明 zx 为 变 分 不 等 式 问题 (5.1) 的 解 . 综 上 所 述 , 变 分 
不 等 式 问题 (5.1) 的 解 集 与 满足 式 (5.14) 的 点 ze 5 的 集合 一 致 . 易 知 后 者 为 闭 凸 
集 , 故 变 分 不 等 式 问题 (5.1) 的 解 集 也 为 闭 凸 集 . 

下 面 利用 反 证 法 证 明 FF 为 严格 单调 映射 时 的 结论 . 为 此 , 假设 变 分 不 等 式 问题 
(5.1) 存在 两 个 不 同 的 解 z 与 z'. 由 于 z,r' es 5, 故 有 


(F(z),2' 一 z)>0 
(PP(z),z 一 2z)>0 


二 式 相 加 可 得 
(F(z)— F(z),z—2)<0 
这 与 严格 单调 性 的 定义 (2.94) 矛盾 , 故 变 分 不 等 式 问 题 (5.1) 至 多 存在 一 个 解 . 
最 后 , 设 下 强 单调 . 因 其 必 是 强制 的 , 故 由 定理 5.3 知 , 变 分 不 等 式 问题 有 解 . 
进一步 , 由 于 强 单调 映射 为 严格 单调 , 因此 , 变 分 不 等 式 问 题 的 解 必 唯一 存在 ， 各 
定理 5.4 并 未 说 明 当 下 为 单调 或 严格 单调 时 变 分 不 等 式 问题 的 解 的 存在 性 . 
例如 , 由 F(z) = ez 定义 的 映射 已: R 一 RR 的 Jacobi 矩阵 VE(z) = ez 处 处 正定 ， 
因此 , 由 定理 2.67 知 , 该 映射 严格 单调 . 由 于 当 5 = R 时 , 变 分 不 等 式 问题 (5.1) 等 
价 于 非 线性 方程 er = 0, 显然 , 它们 没有 解 . 
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对 于 互补 问题 (5.6) 的 情形 , 若 着 眼 于 映射 下 的 分 量 的 性 质 , 则 可 得 到 互补 问 
题 所 特有 的 存在 性 定理 . 为 方便 起 见 , 以 下 将 采用 由 |lzll。 = 下 由 , | 所 定义 的 向 
量 范 数 . 特别 地 , 只 要 注意 到 引 理 5.1 对 任意 向 量 范 数 均 成 立 , 即 可 得 到 下 面 关于 
互补 问题 的 存在 性 定理 . 
定理 5.5” 设 映射 下: R" 一 Rn 连续 , 并 且 存 在 z0 e R", 使 得 
Fi(z)(zi — 29) 


ijim im al =+o0 (5.15) 
TERT ign Tl 


则 互补 问题 (5.6) 有 解 . 
证 明 ”对 任意 实数 + > 0, 定义 长 方 体 5, Cc Rn 为 


5S.=Ri+N {zeR"|lele <7)} = {zeR"|0<z <n i=1,.. ,n} 
由 式 (5.15), 可 选取 充分 大 的 > > 0 满足 r > ||zoll。 且 


下 和 ,及 (z)(m 一 z0) >0，zeR3+,lzl- = (5.16) 


另 一 方面 , 由 于 5S, 有 界 , 依 定理 5.2 知 , 存在 zr e Sr 满足 
(Etz),z 一 z)>0，zeS5- (5.17) 
对 每 个 固定 的 i, 定义 向 量 志 e R", 使 得 3; =z9 且 jj =z? (j 关 由. 由 moe5Sr 知 
元 ESr, 从 而 由 式 (5.17) 知 下 式 成 立 : 
(P(zn) 生 一 zr) = 及 (z7)(z — 27)>0 


由 i 的 任意 性 以 及 式 (5.16) 知 , ||z" = r 不 可 能 成 立 , 从 而 必 有 ||zrll。 < 7. 这 
样 由 引 理 5.1 即 知 , 互补 问题 (5.6) 有 解 . 国 

显然 , 若 映射 五: Rm 一 R" 在 Rn 上 是 强制 的 , 则 式 (5.15) 必 成 立 . 下 面 引 入 
由 向 量 值 函 数 的 严格 单调 性 及 强 单调 性 推广 而 来 的 两 个 概念 . 给 定 映射 FF: Rn 一 
Rn 与 非 空 闭 凸 集 5 Cc R". 若 


TYES, TY 亚 直 (及 () — Fi(y))(zi — yi)>0 (5.18) 


成 立 , 则 称 FF 为 9S 上 的 P 函数 (P function). 车 存在 常数 o > 0, 使 得 


zy ES ma (F(z) ~ Fi(y))(zi ~ i) > ol 一 yll? (5.19) 


则 称 F 为 S$ 上 的 一 致 P 函数 (uniform P function). 一 致 P 函数 显然 是 P 函数 . 
此 外 , 若 可 微 函 数 FF 的 Jacobi 矩阵 VF(z) 对 任意 z 均 为 P 矩阵 , 则 下 为 P 函 
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数 , 参见 文献 Moré and Rheinboldt (1973). 但 反之 并 不 成 立 . 例如 , 由 F(z) = z3 
定义 的 函数 : R 一 R 为 P 函数 , 但 VF(0) 并 非 P 和 矩阵. 此外, 严格 单调 映射 必 
为 P 函数 , 而 强 单调 映射 必 为 一 致 P 函数 ( 留 作 习题 5.5). 

例 5.3 考虑 如 下 定义 的 映射 FF: R2 一 R?: 


ple) = ( Ee |] 
其 Jacobi 矩阵 为 

VF(z) = | 
当 z=0 时 有 


(y, VF(0)y) =y? — 5yiy2 + 


由 于 上 式 右 侧 在 y = (1, 1)7 处 为 负 值 , 故 VF(0) 不 是 半 正 定 和 矩阵 , 从 而 由 定理 2.67 
知 , FF 不 是 单调 映射 . 另 一 方面 , 考虑 


mas (Fi(2) — Fi(y))(z: ~ 1) 
= max{(-e- — 5z2 + e-™ + 5y)(z1 — 1), (x2 — 1)?*} 


的 右 侧 . 由 于 当 zz yz 时 , (zz 一 yz)? > 0, 而 当 zz = yo 且 zi 关 们 时 , (ee 一 
572+e 十 5y2)(Z1 一 衣 ) = (ee 如)(z1 一 级 ) > 0, 故 下 为 P 函数 . 然而 , 由 于 当 
Z2 二 V2 且 zi 关 衣 时 ,不 存在 常数 o> 0, 使 得 (-e-*t+e-W)(z1 一 1) > (zl 一 轨 )2 
对 任意 zi,yi > 0 均 成 立 , 故 下 不 是 一 致 P 函数 . 

定理 5.6 设 下 :Rn 一 Rn 为 连续 映射 . 若 下 为 R* 上 的 P 函数 , 则 互补 
问题 (5.6) 至 多 存在 一 个 解 . 车 FF 为 Rz 上 的 一 致 P 函数 , 则 问题 (5.6) 存在 唯一 
解 @. 

证 明 ” 设 下 为 P 函数 , 并 假定 问题 (5.6) 存在 两 个 不 同 的 解 至 及 ¥', 则 对 任 
意 i 均 有 3; > 0, F(z) > 0, Fi(E)z; =0 及 下 > 0, F(z') > 0, F(Z')z: = 0, 从 而 
有 下 式 成 立 : 


(Fi(z) — RB) — 1) = -FR(F)T ~ Fi(F)T < 0 i= ,n 


这 与 P 函数 的 定义 (5.18) 相 矛 盾 , 因此 , 问题 (5.6) 至 多 存在 一 个 解 . 
下 设 下 为 一 致 P 函数 . 在 式 (5.19) 中 , 置 y = 0 可 得 


BR (F(z) — Fi(0)) zs > ofl 


@ 该 定理 对 于 混合 互补 问题 仍然 成 立 , 参见 文献 Facchinei and Pangl14. 
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故 当 ze R? 且 |lz|l| 一 +co 时 有 


F(z)r: Fi(0)zi| 
2 

成 立 . 注意 到 llzll。 < llzll (z < R"), 因此 , 上 式 表明 式 (5.15) 当 z9 = 0 时 成 立 . 
这 样 由 定理 5.5 即 知 问题 (5.6) 有 解 . 进一步 , 由 于 一 致 P 函数 必 为 P 函数 , 唯一 
性 得 证 . 国 

如 下 例 所 示 , FF 为 P 函数 并 不 能 保证 互补 问题 的 解 的 存在 性 . 

例 5.4 考虑 由 例 5.3 中 的 映射 : R? 一 R? 所 定义 的 互补 问题 (5.6). 例 
5.3 中 已 经 证 明了 下 为 P 函数 . 假定 该 问题 存在 解 去 = (二 ,zz)T, 则 由 B(z)z2 = 
区 =0 可 得 束 =0. 再 由 下 (B)z1 = (~e-™ 一 572)z1 = -e171 二 0 可 得 z=0. 
因此 , 五 = 0. 然而 , F(z) = (一 1,0)T 关 0, 故 元 不 可 能 是 互补 问题 的 解 . 综 上 所 述 ， 
虽然 下 为 P 函数, 但 对 应 的 互补 问题 并 没有 解 . 


5.3 ”再 定式 为 等 价 方程 组 


设 映 射 互 。 : Rn 一 Rn 依 式 (5.8) 所 定义 , 则 由 定理 5.2, 变 分 不 等 式 问题 (5.1) 
等 价 于 下 面 的 非 线 性 方程 组 : 


一 十 oo 


z 一 五 c(z) =0 (5.20) 


由 于 映射 矿 。 中 含有 投影 运算 , 所 以 即使 下 可 微 , 吾 。 一 般 也 不 可 微 . 此 外 , 当 5 
为 普通 闭 凸 集 时 , HH。 很 难 有 显 式 表示 . 然而 , 当 5 为 长 方 体 fre R" |l; < zi < i， 
i 二 1,… ,n} 时 , 5 上 的 投影 算 子 Ps : R" 一 Rn 可 表示 为 


2 
Ps(z) = (mid{li ua}, ,mid{lns um, zn}) 


其 中 mid{a,b,c} 表示 三 个 数 wbc e [一 oo, 上 +eo] 中 的 中 位 数 中 . 不 失 一 般 性 , 假定 
{< ui (i = 1,… ,n). 特别 地 , 当 5 为 非 负 象 限 {x € Rr" |z; > 0, i = 1,… ,n} 时 ， 
5 上 的 投影 算 子 Ps 可 表示 为 


T 
Ps(z) = (max{0,z1},..: ,max{0, zn}) 


为 表示 简单 起 见 , 以 下 假设 互 。 的 定义 中 a = 1, 则 对 长 方 体 上 的 变 分 不 等 式 问题 ， 
也 即 混合 互补 问题 (5.4) 而 言 , 式 (5.20) 可 表示 如 下 : 


下 (z) = 0 (5.21) 


全 中 位 数 的 英文 也 可 写作 median, 因此 , 以 med 代替 mid 也 可 . 由 于 多 数 文献 都 使 用 英文 middle 
的 缩写 mid, 所 以 本 书 也 采用 这 个 记号 . 
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其 中 下 :Rn 一 Rn 是 以 
(2) = mid{ mi 一 mi 一 us F(z)} (5.22) 


为 分 量 的 向 量 值 函数 . 特别 地 , 对 于 S = {z € R"|zi > 0, i = 1,.… ,n}), 即 互补 问 
题 (5.6) 的 情形 , $; 可 由 下 式 给 出 : 
Gi(7) = min{ zi, Fi(z)} (5.23) 


虽然 式 (5.22) 或 式 (5.23) 中 的 更 不 是 可 微 函数 , 但 当 FF 连续 可 微 时 , 更 局 
部 Lipschitz 连续 , 因此 , 更 在 任意 点 = 处 均 存 在 广义 Jacobi 矩阵 8(z), 并 且 由 
定理 2.64 有 


OF(7) C [OB(z) … OFn(2)] (5.24) 
成 立 , 其 中 式 (5.24) 的 右 侧 表示 以 要 的 Clarke 次 微分 86;(z) 中 的 向 量 作为 第 i 
列 所 形成 的 n x n 阶 和 矩阵 的 全 体 构成 的 集合 . 


为 了 具体 求 出 式 (5.22) 中 的 函数 6 的 次 微分 95;(z), 分 别 定义 指标 集 T(z)， 
J 了 (Zz) 与 K(z) 如 下 : 


To)={ils -wu < Rs) <z—t)} 
To)={ilR(s) = -wu} {iB(e) = 器 (5.25) 
K(w)={ilR(e) < zum} u {ilR(s) > 4} 


则 对 任意 点 z e Rn 均 有 T(z) U J 了 (z)UK(z) = {1,… ,n}, 并 且 95(z) 可 由 下 式 
给 出 : 


{YF:(z)}, icT(z) 
OBi(z) = 9 {pei+(1~—p)VF(z)|p € [0,1]}, ie (zr) (5.26) 
{ei}, 1EK(z) 


其 中 ei 表示 第 i 个 元 素 为 1 的 n 元 单位 向 量 . 另外 , 若 函数 B; 由 式 (5.23) 给 出 ， 
则 分 别 定义 指标 集 为 
T(z)= 全 |Rze) < zi} 
Im)={|Rc) =z} (5.27) 
K(z)= 中 [Fi(z) > zi} 
显然 ，5 亚 (z) 仍然 可 由 式 (5.26) 给 出 0. 
四 在 式 (5.25) 中 置 ti = 0,an = 十 cc 即 得 式 (5.27). 
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对 于 互补 问题 (5.6), 除了 利用 式 (5.23) 定义 的 B 进行 再 定式 之 外 , 还 可 以 利 
用 由 
ya,b)=at+b— Va+r (5.28) 
定义 的 Fischer-Burmeister 函数 (Fischer-Burmeister function) 多 : R2 一 及 来 
进行 再 定式 . 事实 上 , 由 于 
wa,b) =0Sa+b= Va2 十 态 
兮 0 十 > 0，(a 二 切 2 = oa2 十 妈 
人 a>0,b>0,ab=0 


利用 少 定 义 函 数 不: Rn 一 及 人 =1 ,nm) 为 


Wi(z) = cb 及 (z)) (5.29) 
并 令 更 (z) = ( 王 (z),… ,加 (z))T, 则 关于 向 量 值 函 数 更 : Rn 一 Rn 的 方程 
更 (z) =0 (5.30) 


即 与 互补 问题 (5.6) 等 价 . 虽然 更 与 更 一样 也 不 是 可 微 函 数 , 但 多 在 每 个 满足 
zi = 及 (z) (其 中 i 为 某 个 指标 ) 的 点 z 处 均 不 可 微 , 而 更 只 是 在 满足 ri = F(z) = 
0 (其 中 i 为 某 个 指标 ) 的 点 = 处 不 可 微 . 

Fischer-Burmeister 函数 少 为 局 部 Lipschitz 连续 , 并 且 由 式 (2.88) 及 (2.89)， 
其 Clarke 次 微分 可 由 下 式 给 出 : 


{0- Fr -Ap } (@,5) # (0,0) 
Blab) = VE' yearB) " 
{a-ea-mrle+zs 直 (a,b) = (0,0) 
与 式 (5.24) 一 样 , 亚 的 广义 Jacobi 矩阵 9 亚 (z) 满足 
8z(z) c [OW(z) … 8 加 (z] (5.31) 


在 式 (5.31) 中 , 若 (zi, (2)) 去 (0,0), 则 8 环 (z) = {V 于 (x)} 且 由 式 (5.29) 有 
F(z) 


人 一 一 了 OO 
Vw(z) = ( Fj | ): 十 人 + tj + Bj 
车 (zi, Fi(z)) = (0,0), 则 有 


)vaite) (5.32) 


OW(z) C {a _é)ei+ (1 -mVR(s) | + < 1} (5.33) 
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式 (5.31)~(5.33) 说 明 广 义 Jacobi 矩阵 8 更 (z) 是 由 形 如 
G=diaglXi]+VF(tz)diaglp (5.34) 


的 矩阵 构成 的 集合 , 其 中 diag[ 和 i] 与 diag[yi] 分 别 表示 由 下 式 给 出 的 入; (i = 1,… ,n) 
及 ji (i = 1,… ,n) 为 对 角 元 素 的 对 角 和 矩阵 : 


We SS 7 
0 { (re RE) ene 0 
(1 -6,1— 7%), (zi, Fi(2)) = (0,0) 


其 中 (&,m4)TE 了 R2 为 满足 名 十 2 < 1 的 向 量 . 下 面 的 定理 给 出 了 使 得 函数 更 的 
广义 Jacobi 矩阵 非 奇异 的 一 个 条 件 . 

定理 5.7 ” 设 映 射 互 : Rn 一 Rn 连续 可 微 , 并 且 VF(z)T 为 P 矩阵 , 则 由 
Fischer-Burmeister 函数 定义 的 映射 严 : Rn 一 Rn 的 广义 Jacobi 矩阵 9 更 (z) 中 
的 所 有 矩阵 均 为 非 奇异 矩阵 . 

证 明 ”注意 到 2 更 (z) 中 的 矩阵 G 必 可 表示 成 式 (5.34) 的 形式 . 欲 证 G 为 非 
奇异 矩阵, 只 需 证 明 满 足 


Gy = diag[N]y+diag[mlVP(z)ry = 0 
的 向 量 y e Rn 必 为 0 即 可 . 记 z = VF(z)Ty, 则 有 
Myit+hizai=0 i=1,.,n (5.35) 


由 入 与 yi 的 定义 易 知 和 A; > 0, ji > 0 且 和 i 十 ji > 0 因此, 当 和 ;= 0 时 必 有 
Li > 0, 从 而 由 式 (5.35) 得 a = 0; 而 当 Xi > 0 时 必 有 gizi = 一 (jis/ 和 i)z? < 0. 总 之 ， 
对 任意 i 均 有 yizi = yi[VF(z)Ty]; < 0 成立 , 从 而 由 P 矩阵 的 定义 (2.4) 知 y= 0. 

国 
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给 定 某 个 均衡 问题 , 若 存在 某 个 广义 实 值 函数 f, 使 得 当 点 z 为 问题 的 解 时 有 
f(z) = 0; 否则 , 有 f(z) > 0, 则 称 之 为 该 均衡 问题 的 价值 函数 (merit function). 

由 于 变 分 不 等 式 问题 (5.1) 与 方程 (5.20) 等 价 , 所 以 f(z) = llz - 五 c(z)|| 或 
者 f(z) = jz 一 HH。(z) 上 均 满 足 价值 函数 的 条 件 . 然而 , 即使 在 函数 F 可 微 的 前 提 
下 , 上 述 价值 函数 既 不 可 微 也 不 实用 . 

由 

goo(z) = sup (F(z), 2 — Y) (5.36) 
YES 
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定义 的 函数 go : Ran 一 (一 00, 十 oo] 称 为 间隙 函数 (gap function), 它 是 人 们 所 熟知 
的 关于 变 分 不 等 式 问题 (5.1) 的 经 典 价值 函数 . 

定理 5.8 ”对 任意 z € 5 均 有 gw(z) > 0. 进一步 , z 为 变 分 不 等 式 问题 (5.1) 
的 解 当 且 仅 当 gw(z)=0 且 ze 5. 

证 明 对 任意 z € 5, 由 式 (5.36) 即 有 


geo(z) > (F(z),z 一 zz)=0 
进一步 , z 为 变 分 不 等 式 问题 (5.1) 的 解 等 价 于 ze 5 且 
(F(z),72 — y) <0, yes 


而 这 与 gc(z) =0 且 zz € 5 等 价 . [J 
由 定理 5.8, 间隙 函数 go 为 变 分 不 等 式 问 题 (5.1) 在 可 行 集 5 上 的 价值 函数 ， 
也 即 变 分 不 等 式 问题 (5.1) 等 价 于 如 下 约束 最 优化 问题 0: 


min goo(z) 
Sst. PES 


函数 go。 的 优点 之 一 是 当 5S 为 凸 多 面体 时 ， 可 以 利用 求解 线性 规划 问题 来 求 得 
go(z) 的 值 . 然而 , 当 5 为 无 界 集 时 , 可 能 存在 z, 使 得 gw(z) = +co. 此 外 , 即使 
guo(z) 为 有 限 值 , 函数 go 也 常常 不 可 微 . 

给 定常 数 a > 0, 由 


(5.37) 


oo = 区 (eehz- 世 -去 le 如]} (5.38) 


定义 的 函数 ga : Rn 一 R 称 为 正则 化 间隙 函数 (regularized gap function). 由 于 式 
(5.38) 右 侧 等 价 于 mig |y 一 (xz 一 gaF(z)) 省 , 所 以 在 式 (5.38) 中 , 以 y = Ps(z--aF(z)) 
{也 即 式 (5.8) 定义 的 五 (z)) 代入 后 即 得 ga(z) 的 值 . 因此 , 经 简单 计算 即 可 将 函 
数 ga 表示 为 


oo) = 去 {oP (oF lH) - (2 -oF(o)P) (5.39) 


这 说 明 函 数 go 在 任意 点 ze R" 处 均 取 有 限 值 . 下 面 的 定理 证 明了 正则 化 间隙 函 
数 为 变 分 不 等 式 问题 (5.1) 在 集合 S 上 的 价值 函数 . 

定理 5.9 ”对 任意 re 5 均 有 gu(z) > 0. 进一步 , zx 为 变 分 不 等 式 问题 (5.1) 
的 解 当 且 仅 当 ga(z) =0 且 ze59. 


外 更 准确 地 说 , 元 为 变 分 不 等 式 问题 (5.1) 的 解 当 且 仅 当 元 为 问题 (5.37) 的 全 局 最 优 解 ， 并且 满 足 
goo(F) = 0. 
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证 明 ”对 任意 r e 5, |aF(z)|| 等 于 z-aF(z) 与 z 之 间 的 距离 , 而 外 Ha。(z) 一 
(z 一 aF(z))| 等 于 z - aF(z) 与 其 到 S 上 的 投影 百 。(z) 之 间 的 距离 , 因此 , 由 
投影 的 定义 知 , 式 (5.39) 的 右 侧 总 是 非 负 数 ， 再 者 ， 上 述 两 个 距离 相等 当 且 仅 当 
Zz 二 有 Ha(z), 而 由 定理 5.2, 后 者 等 价 于 z 为 变 分 不 等 式 问 题 (5.1) 的 解 . | 

如 下 面 的 定理 所 示 , 对 任意 非 空 闭 凸 集 5, 当 映 射 FF 可 微 时 正则 化 间隙 函数 也 
是 可 微 的 . 

定理 5.10” 若 映射 已 : Rn 一 Rn 连续 可 微 , 则 正则 化 间隙 函数 ga : Rn 一 了 
也 连续 可 微 , 并 且 其 梯度 可 由 下 式 给 出 ; 


Von(z) = F(z) - [VF(z) - ar: 了 (Halz) — 2) (5.40) 
证 明 ”定义 函数 :Rm x Rn 一 及 如下: 
hz) = (F(z),y — 2+ Ey — ol 
车 F 可 微 , 则 函数 h 也 可 微 . 依 定义 有 
ool) =—min {ny,o) ly e s) 


且 右 侧 仅 在 y = 五 。(z) 处 达到 最 小 值 , 从 而 由 定理 3.31 知 , 函数 go 连续 可 微 , 再 
由 式 (3.66) 有 


Vga(T)=—Vzh(Hoalz), 2) 
=F(z)— [VF(z) -a I|(Ha(z) — 2) 


成 立 . 国 
由 定理 5.9 与 定理 5.10, 变 分 不 等 式 问题 (5.1) 的 解 即 为 可 微 的 约束 最 优化 问 
题 
min ga(z) 
st. ZES 
的 全 局 最 优 解 . 但 由 于 go 一 般 为 非 凸 函数 , 问题 (5.41) 可 能 存在 不 是 全 局 最 优 解 
的 局 部 最 优 解 或 者 稳定 点 . 然而 , 正如 下 面 的 定理 所 示 , 当 映 射 的 Jacobi 矩阵 为 
正定 矩阵 时 , 问题 (5.41) 的 稳定 点 必 为 变 分 不 等 式 (5.1) 的 解 , 也 即 必 为 问题 (5.41) 
的 全 局 最 优 解 @. 
定理 5.11 设 映射 下: Rn 一 Rn 连续 可 微 . 若 z e 3 为 最 优化 问题 (5.41) 的 
稳定 点 , 即 


(5.41) 


(Vgal®),y—7)>0, yes (5.42) 
并 且 Jacobi 矩阵 VF(z) 正定 , 则 z 为 变 分 不 等 式 问题 (5.1) 的 解 . 
GD 这 并 非 意 味 着 ga 为 凸 函数 . 
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证 明 .将 式 (5.40) 代入 式 (5.42), 并 置 y = 五 c(z) 可 得 


(F(z)— IVF(z)— a TI(Ha(z) — 7), Ha(z)— zx)>0 (5.43) 


~_ 


另 一 方面 , 由 式 (5.8) 有 有 Hs。(z) = Ps(z 一 aF(z)), 故 由 定理 2.6 有 
(2 -aF(z)— Ha(z),y — Ha(z)) <0, yes 
成 立 . 在 上 式 中 , 令 y = z, 然后 两 侧 同 时 除 以 a 可 得 
(F(z)+o (Ha(z) — 2), Ha(z)— 2) <0 
由 上 式 及 (5.43) 有 
(VF(z)(Ha(z) — 2), Ha(z) — 2) <0 (5.44) 


由 设 VF(z) 为 正定 矩阵 , 所 以 式 (5.44) 意味 着 有 态 。(z) 一 z = 0, 从 而 由 定理 5.2 知 ， 
z. 为 变 分 不 等 式 问题 (5.1) 的 解 . 国 

利用 正则 化 间隙 函数 可 将 变 分 不 等 式 问题 (5.1) 等 价 地 转化 为 可 微 的 最 优化 问 
题 (5.41), 然而 后 者 是 含有 约束 的 问题 . 下 面 证 明 : 利用 由 


gap(z)] = ga(z) — ga(z) (5.45) 


定义 的 函数 gus : Rn 一 R 可 将 变 分 不 等 式 问题 (5.1) 转化 为 可 微 的 无 约束 最 优 
化 问题 , 其 中 a > 8 > 0 均 为 常数 , ge : Rn" 一 卫 及 9e: 了 Rn 一 及 分 别 为 式 
(5.38) 对 应 a 与 8 而 定义 的 正则 化 间隙 函数 . 函数 gag 称 为 D 间隙 函数 (D gap 
function)®. 

下 面 的 引 理 在 后 面 的 讨论 中 将 起 很 重要 的 作用 . 

引 理 5.2 ”对 任意 = e Rn 均 有 如 下 不 等 式 成 立 : 


和 le- HetzjjP<yoolz)< Gf ls- Heo (646) 
证 明 ”由 于 式 (5.38) 的 右 侧 在 互 。(z) 处 达到 最 大 , 故 有 
(Fle),2 ~ Ho(®)) — 让 | — Helo) 
>(Plzjz- Helz) — 记 |2 — He(z)l 


名 字母 D 来 源 于 该 函数 为 两 个 正则 化 间隙 函数 的 关 (difference). 
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由 gag 的 定义 可 得 
goa(z)=(F(z)z 一 再 olz) -到 lz 一 瑟 c(o) 
~ (Fle),2 — Ha(®) + le Hela) 
>(F(2),2 — Hs(®) — 让 |z — Ha(o)l 


- (Fle)2 -Halo)) + I2 -Holo 


=( 壳 -去 )le- Halo) 


即 式 (5.46) 的 左 侧 不 等 式 成 立 . 同 理 , 可 证 式 (5.46) 的 右 侧 不 等 式 成 立 . 国 
定理 5.12 ”对 任意 r e Rn" 均 有 gas(z) > 0, 并 且 z 为 变 分 不 等 式 问题 (5.1) 
的 解 当 且 仅 当 gag(z) = 
证 明 ”对 任意 ze R", 由 引 理 5.2 显然 有 gap(z) > 0 成 立 . 若 gas(z) = 
(5.46) 的 左 侧 不 等 式 有 zx = 五 sg(z), 从 而 由 定理 5.2 知 , z 为 变 分 不 等 式 问 题 (5.1) 
的 解 . 反之 , 若 x 为 变 分 不 等 式 问题 (5.1) 的 解 , 再 次 利用 定理 5.2 可 得 z = 五 (z)， 
于 是 由 (5.46) 的 右 侧 不 等 式 得 gae(z) = 0. 
由 定理 5.12, 变 分 不 等 式 问题 (5.1) 等 价 于 无 约束 最 优化 问题 


min gae(z) (5.47) 


下 面 的 定理 揭示 了 最 优化 问题 (5.47) 的 可 微 性 . 
定理 5.13 ” 阁 映 射 玉 : Rn 一 Rn 连续 可 微 , 则 D 间隙 函数 gas : R* 一 R. 也 
连续 可 微 , 并 且 其 梯度 可 由 下 式 给 出 : 


Vgap(¥)=VF(7)(Ha(z) — Halz)) 
+a (Ha(z)— £2) -6 (Hg(z) — 2) (5.48) 


证 了 明 ”由 DD 间隙 函数 的 定义 (5.48) 及 定理 5.10 即 得 结论 . 
与 正则 化 间隙 函数 的 情形 类 似 , 当 映 射 的 Jacobi 矩阵 正定 时 , 以 D 三 
数 为 目标 函数 的 无 约束 最 优化 问题 (5.47) 的 稳定 点 也 是 变 分 不 等 式 问 题 (5.1) 的 
解 . 
定理 5.14 ” 设 映 射 F: Rn 一 Rn 连续 可 微 . 若 在 re R" 处 有 Jacobi 矩阵 
VF(z) 正定 , 并 且 
Vgas(z) =0 (5.49) 


成 立 , 则 z 为 变 分 不 等 式 问 题 (5.1) 的 解 . 
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证 明 ”由 于 对 任意 x > 0 均 有 五 ,(z) = Ps(z 一 YF(z)), 故 由 定理 2.6 有 
(他 一 ?FE(z) 一 五 *(z),y 一 五 7(z)) 和 0，VE3S 


成 立 , 在 该 不 等 式 中 分 别 以 Y= my = He(z) 及 Y= 6B,y = 五 c(z) 代入 , 然后 各 
自 乘 以 or-: 与 8-1, 再 将 得 到 的 两 个 不 等 式 相 加 , 无 须 整理 即 得 


(a (Ha(z)—£)— 8 (Hga(s)— 7), He(z)— Ha(z)) >0 (5.50) 
另 一 方面 , 由 式 (5.48) 及 式 (5.49) 有 


0=(VYgos(z), 百 se(z) — Halz)) 
=(a (本 ce(z) 一 z) 一 8 (He(z)— 7), Ha(z) — Ha(z)) 
+ (再 a(z) 一 百 <(z),YF(z)( 瑟 ae(z) 一 再 c(o)) (5.51) 


于 是 由 式 (5.50) 可 得 
(He(z) — Ha(z), VF(z)(Hg(z) — Ha(2))) < 0 


由 VF(z) 的 正定 性 , 上 式 意味 着 Hag(z) = 有 Hs。(z). 进一步 , 将 Ha(z) = Ha(z) 
代入 式 (5.48), 从 而 由 式 (5.49) 可 得 z = 及 s(x). 由 定理 5.2, z 为 变 分 不 等 式 问题 
(5.1) 的 解 . 国 
对 于 集合 8 为 形 如 式 (5.3) 的 长 方 体 的 混合 互补 问题 的 情形 , 则 有 五 -(z) = 
(mid{li, ui 21 — QF (PT)}, + ,mid{ln, vn; Zn — QFn (2)})T, 因此 , 与 5 为 一 般 集 合 
的 情形 相 比 , 正则 化 间隙 函数 ge 或 者 D 间隙 函数 gas 相对 容易 处 理 中 . 
对 于 互补 问题 (5.6), 可 以 利用 5.3 节 介 绍 的 Fischer-Burmeister 函数 构造 价值 
函数 如 下 : ， 
Ve) = SP(o)P = 3 ve) (5.52) 
i=1 
也 有 人 称 该 函数 为 二 次 Fischer-Burmeister 函数 . 下 面 的 定理 说 明了 互补 问题 (5.6) 
与 无 约束 最 优化 问题 
min 4(z) (5.53) 
的 等 价 性 . 
定理 5.15 ”对 任意 z < Rn 均 有 W(z) > 0, 并 且 z 为 互补 问题 (5.6) 的 解 当 
且 仅 当 w(x) = 0. 


@ 对 于 互补 问题 的 情形 ， 瑟 = 可 进一步 简化 为 Ha(z) = (maxf0,zrl 一 aFi(z)},:… ,max{f0,zn 一 
aFn(z)]})T. 
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证 明 ”由 函数 此 的 定义 (5.29) 以 及 Fischer-Burmeister 函数 的 性 质 即 得 ， 国 

虽然 函数 丈 一 般 不 可 微 , 但 正如 下 面 的 定理 所 示 , 其 平方 和 函数 多 是 可 微 的 . 

定理 5.16 ”车 映 射 : Rn 一 Rn 连续 可 微 , 则 函数 少 : Rn 一 R. 也 连续 可 微 ， 
并 且 其 梯度 可 利用 式 (5.34) 给 出 的 矩阵 G e 8 更 (z) 表示 为 


Vy(z) = GE(z) (5.54) 
证 明 ”定义 函数 站 : Rn 一 Ri=1……,n) 如 下 : 
名 (z) = 3 (eo) 
则 由 函数 区 的 定义 (5.52) 及 定理 2.60 有 
OV (7) C Oh (z) + :+O%,(2) (5.55) 
而 由 (2.88) 及 (2.89) 知 
8 入 (z) = co {vn wi(z*) | im T=7, {rz} CC Du} 


对 每 个 i 均 成 立 , 其 中 Dw = {z € Rr" | (zi, Fi(z)) 关 (0,0)}. 一 方面 , 若 ze Dy,， 
则 显然 有 8 疡 (z) = {于 (z) 球 (2)}. 另 一 方面 , 若 z 4 Dy,, 尽管 在 z 处 不 可 
微 , 但 由 于 于 (zx) = 0, 故 有 9 间 (z) = {0}. 总 之 , 在 任何 情形 下 , 8 亲 (z) 均 只 含有 
一 个 元 素 , 因此 , 式 (5.55) 右 侧 的 集合 只 含有 一 个 元 素 , 故而 由 式 (5.55) 知 , 0 (z) 
也 只 含有 一 个 元 素 . 由 于 z 是 任意 的 , 由 定理 2.58 知 少 连续 可 微 . 经 直接 计算 易 
知 , 多 的 梯度 可 利用 式 (5.34) 给 出 的 矩阵 Ge 8 更 (z) 表示 为 式 (5.54) 的 形式 ， 国 

下 面 的 定理 证 明了 车 映射 FF 的 Jacobi 矩阵 为 矩阵 , 则 关于 二 次 Fischer- 
Burmeister 函数 攻 的 无 约束 最 优化 问题 (5.53) 的 稳定 点 为 互补 问题 (5.6) 的 
解 O. 

定理 5.17 设 映 射 王 : Rn 一 Rn 连续 可 微 . 若 在 点 re R" 处 Jacobi 矩阵 
VE(z)T 为 P 矩阵 且 

Vy(z)=0 (5.56) 

成 立 , 则 z 为 互补 问题 (5.6) 的 解 . 

证 明 ”由 定理 5.16, 式 (5.56) 即 为 


Gy¥(z)=0 
由 定理 5.7, 当 VF(z)7 为 P 矩阵 时 , G e 3 更 (z) 非 奇异 , 由 此 可 得 更 (z) = 0, 因 
加 


此 , z 为 互补 问题 (5.6) 的 解 . 


四 若 下 的 Jacobi 矩阵 属于 比 P 矩阵 更 广义 的 所 谓 Po 和 矩阵 类 , 则 定理 5.17 仍然 成 立 (参见 文献 
Facchinei and Soares (1997)). 
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5.5 MPEC 


约 东 条 件 中 含有 互补 或 者 变 分 不 等 式 等 均衡 条 件 的 最 优化 问题 称 为 均衡 约束 
数学 规划 问题 (mathematical program with equilibrium constraints), 或 者 取 其 英文 
名 字 的 字 头 称 为 MPEC. 典型 的 MPEC 中 既 含 有 所 谓 设 计 变量 =, 也 含有 所 谓 状 
态 变 量 y, 而 均衡 条 件 由 设计 变量 为 参数 的 变 分 不 等 式 问题 的 解 集 给 出 , 也 即 对 于 
某 个 向 量 值 函数 FF 及 点 集 映 射 Y(.), 若 将 以 设计 变量 zx 为 参数 的 含 参 变 分 不 等 式 
问题 


(F(z,Yy),z2—Y)>0, zeYlz) (5.57) 
的 解 集 记 为 S(z), 则 MPEC 的 一 般 形式 为 
min f(z,y) 
st. (xz,y)EeEZ (5.58) 
yeES(z) 


其 中 f 为 实 值 函数 ，2 为 非 空 集合 . 特别 地 , 当 变 分 不 等 式 问题 (5.57) 退化 为 互补 
问题 时 , MPEC (5.58) 变 为 如 下 带 有 互补 约束 的 问题 : 
min f(x,y) 
st. (2,y)EZ 
F(z,y) 0, y>0, (F(z2,y),y) =0 
另外 , 对 于 约束 条 件 中 包含 某 个 最 优化 问题 的 所 谓 双 层 规划 问题 (bilevel program- 
ming problem)@ 
min 7(z,3) 
st. (2,y)EZ 
y € argmin{6(2,y) | c(z,y) < 0} 


vy 
当 约束 中 的 最 优化 问题 为 凸 规划 问题 时 , 利用 其 KKT 条 件 即 可 将 该 双 层 规划 问题 
表示 为 含有 互补 约束 的 MPEC. 
以 下 为 记述 简单 起 见 , 将 设计 变量 与 状态 变量 合并 记 为 向 量 ze Rn. 考虑 如 
下 含有 互补 约束 的 MPEC: 
min f(z) 
st. g(z) <0, h(z)=0 
G{z) > 0, H(z)>0 
(G(z), H(z)) =0 
其 中 函数 f : Rn 一 R,g :Rn 一 Rmh:Rn 一 RG:Rn 一 RN 以 及 
HH : Rn 一 RN 均 连续 可 微 . 该 问题 初 看 只 是 一 个 普通 的 非 线性 规划 问题 , 但 由 于 
互补 约束 的 存在 , 所 以 会 产生 下 述 一 些 MPEC 所 特有 的 问题 . 
OD argmin{.…} 表示 括号 中 以 y 为 变 最 的 最 优化 问题 的 解 集 - 


(5.59) 
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例 5.5 考虑 问题 


min (z1—2)?+ (x2+2)? 
St. Zi >0 
Z2 过 0，2zl 十 3zz 一 6 > 0，zz(2zl 十 3zz -6) =0 


5.2 表示 出 了 该 问题 的 可 行 域 . 容易 看 出 
该 问题 的 最 优 解 为 z = (3,0)T. 如 本 例 所 示 ， 
一 般 来 说 ，MPEC 的 可 行 域 均 为 若干 个 集合 
一 片 片 粘 合 在 一 起 的 形式 ， 而 最 优 解 往往 在 
多 片 交接 的 点 上 达到 . 

更 进一步 ,如 下 面 的 引 理 所 示 中 ， 由 于 
问题 (5.59) 不 满足 标准 的 约束 规范 , 所 以 满 
图 5.2 例 5.5 中 的 MPEC 的 可 行 域 ” 足 KKT 条 件 的 Lagrange 乘 子 有 可 能 不 存 

在 . 这 就 是 利用 通常 的 非 线 性 最 优化 方法 处 
理 MPEC 时 会 引起 理论 困难 的 主要 原因 . 
引 理 5.3 ”Mangasarian-Fromovitz 约束 规范 在 每 个 满足 互补 条 件 


Gi(2)20, i=1,..……,N 

Hi(z)2>0, i=1,..,N 
N 

¥(2) = 2 Gi(z)Hi(z) =0 


ts=l1 


(5.60) 


的 点 处 均 不 成 立 . 

证 明 设 re Rn 为 满足 式 (5.60) 的 任意 一 点 . 对 于 式 (5.60) Mangasarian- 
Fromovitz 约束 规范 可 描述 如 下 : 

(1) Vp(z) 线性 无 关 , 即 


N 
vols) = > (Fle)vGi(e) + Gia) mle)) #0 (5.61) 


i=1 
(2) 存在 向 量 y e Rn 满足 


(VGi(2),y) > 0, ie 五 ) 

(VHi(2),Yy) > 0，1ET(z) 

N 

5 (me)vGi(e)y) + Gi(a)v He),y)) =0 
i=1 


@ 为 简单 起 见 , 引 理 5.3 中 考虑 的 是 不 存在 互补 条 件 以 外 的 约束 条 件 的 情形 ,对 于 还 有 其 他 约束 条 件 
的 情形 , 结论 仍然 成 立 . 


(5.62) 
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其 中 五 (z) = {i|Gi(z) = 0}, 五 (z) = {i| Hi(z) = 0 
由 式 (5.62), 车 (VGi(z),y) < 0, 则 有 ig 五 (z), 也 即 Gi(z) > 0, 从 而 由 互补 
条 件 (5.60) 知 H;(z) = 0 成 立 . 同 理 , 若 (VHi(z),y) < 0, 则 有 Gi(z) = 0 成立. 因 
此 有 
N 
(mo)vGi(e),y) + Gi(a)(vHi(e),y) ) >0 (5.63) 
i=1 
成 立 ， 进 一 步 , 车 对 某 个 i 有 Gi(z) > 0, 则 由 互补 条 件 (5.60) 有 H(z) = 0, 再 
由 式 (5.62) 知 (VHi(z),y) > 0 成 立 , 这 意味 着 式 (5.63) 中 的 等 号 不 成 立 , 因而 与 
(5.62) 中 最 后 的 等 式 矛 盾 . 同 理 , 可 以 说 明 不 存在 i, 使 得 FH;(z) > 0, 故 对 所 有 i 均 
有 Gi(z) = Hi(z) = 0, 但 这 显然 与 式 (5.61) 矛盾 , 因此，Mangasarian-Fromovitz 约 


束 规范 在 z 处 不 成 立 . 站 
互补 条 件 (5.60) 等 价 于 如 下 条 件 : 
Gi(z) 0，i=1,.….,N 
Hi(£) 20, i=1,..,N (5.64) 


Gi(z)Hi(z) =0, i=1,...,N 


对 于 式 (5.64) 也 有 与 引 理 5.3 同样 的 结论 成 立 ( 留 作 习题 5.10). 
为 了 推导 出 关于 MPEC (5.59) 的 最 优 性 条 件 , 设 至 为 MPEC (5.59) 的 局 部 最 
优 解 , 并 基于 Gi(E) 与 H;(z) 的 值 分 别 定义 三 个 指标 集 如 下 : 


T(z)={i|Gi(z) = 0 < Hi(x)} 
T(z)={i|Gi(z =0= Hi(z)} (5.65) 
K(x)={i|Gi(z) > 0= Hi(z)} 


为 记述 简单 起 见 , 以 下 将 上 述 指标 集 分 别 记 为 T, 了,K, 则 有 INJ 了 = 2 TInK= 纪 
KnZ= @, 并 且 由 互补 条 件 Gi() > 0, Hi(B) > 0, Gi(z)Hi(F) = 0 可 得 TIuTUK = 
全 ,… ,入 }. 特别 地 , 当 了 = & 时 , 称 至 非 退化 (nondegenerate). 

首先 假定 7 = &, 即 假定 局 部 最 优 解 去 非 退 化 . 考虑 问题 


min f(z) 

st. g(xz) <0, h(z)=0 
Gi(z)=0, Hi(z) >0, ieT 
Gi(z) >0, Hi(z)=0, iEek 


记 MPEC (5.59) 的 可 行 域 为 S C R", 问题 (5.66) 的 可 行 域 为 $. 由 于 ,7 = %g, 故 
当 r>0 充 分 小 时 有 SnB(z,r) = $nB(E,7) 成 立 , 因此 , 问题 (5.59) 在 元 的 周围 


(5.66) 
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与 问题 (5.66) 局 部 等 价 . 再 者 , 由 于 问题 (5.66) 为 不 含 互 补 条 件 的 普通 非 线 性 规划 
问题 , 所 以 可 应 用 第 3 章 中 关于 最 优 性 条 件 的 结论 . 然而 , 由 于 现实 中 的 MPEC 往 
往 不 满足 非 退化 条 件 了 = @, 所 以 有 必要 根据 MPEC 的 结构 进行 更 详尽 的 分 析 . 

下 面 假定 了 关 g. 对 于 了 的 每 个 满足 JU = 了 及 no = 的 分 割 , 定 
义 问 题 (5.59) 的 限定 问题 (restricted problem) 如 下 : 


min f(z) 

st. g(x)<0, h(z)=0 
Gi(z) =0, Hi(z) >0, ieT 
Gi(z)=0, Hi(z) >0, ie 
Gi(z) >0, Hi(z)=0, ié 
Gi(x) >0, Hi(z)=0, iek 


进一步 , 记 指标 集 了 的 全 体 分 割 的 集合 为 


(5.67) 


P(ND={N,R)NUR=7, NND= 0)} 


则 总 共有 集合 P(.7) 的 基数 |P( 了 )| 这 么 多 的 限定 问题 . 对 任意 (及 ,及 ) es P(J), 记 
问题 (5.67) 的 可 行 域 为 S( 角 1, 7), 则 当 > > 0 充分 小 时 有 


Sn 了 (元 ,r) = UU (5(7,7) nN BE,r)) 
(ITaleP(I) 
成 立 . 注意 到 集合 5 与 S(Ji, .2) 在 点 至 处 的 切 锥 均 由 相应 集合 在 该 点 附近 的 形 
状 所 决定 , 因此 有 


可 = [) Tsm 人 (本 (5.68) 
(Ti,Ia)EP(I7) 


即使 各 个 Ts ,z,)(E) 都 是 凸 锥 , 它们 的 并 集 Ts(F) 一 般 也 不 是 凸 锥 ， 
由 定理 3.3 及 式 (5.68), 关于 MPEC (5.59) 的 最 优 性 条 件 可 表示 为 


—Vf(z) € Ns(£) = ( U Tax) 回 ) (5.69) 
(ia)EP(I) 
进一步 , 由 定理 2.14, 条 件 (5.69) 可 表示 为 
—Vf(z) e NN Nscram 人 加 (5.70) 
(Taz)jeP(I) 


其 中 Ns(,75)(F) = Ts( 7) (7). 讨论 式 (5.70) 是 否 成 立 , 一 般 需 要 讨论 对 于 
|IP(I)| = 2171 个 锥 Ns(z,7)(F) 是 否 均 有 一 Vf(F) < Ns(z ,5)(FB) 成 立 ， 
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由 于 MPEC 的 最 优 性 条 件 具有 上 述 的 组 合 性 质 , 因此 , 一 般 来 说 不 易 处 理 . 但 
如 下 所 述 , 在 适当 的 约束 规范 条 件 下 , MPEC 的 最 优 性 条 件 能 够 表示 成 类 似 普通 非 
线性 规划 问题 的 KKT 条 件 的 形式 . 

对 于 MPEC (5.59) 的 局 部 最 优 解 元 E 5, 考虑 如 下 松弛 问题 (relaxed problem): 


min f(zx) 
st. 9g(z) 入 0, h(z)=0 
Gi(z) =0，Hi(z) >0, ieI {5.71) 


Ci(z) > 0, Hi(2)>0, iEes 

Gil(z) >0, Hi(z)=0,， ieKk 
与 限定 问题 (5.67) 一 样 , 松弛 问题 (5.71) 也 是 不 含 互补 条 件 的 普通 非 线性 规划 问 
题 . 记 松弛 问题 (5.71) 的 可 行 域 为 SR, 则 当 r > 0 充分 小 时 , 显然 有 Sm B(x,7) C 
SR B(T,7), 从 而 有 如 下 关于 切 锥 的 关系 式 成 立 : 


UY Ts)(E)= Ts(E) C Tsr(z) (5.72) 
(iajeP(I) 
进一步 , 由 式 (5.72) 及 定理 2.12 与 定理 2.14 可 得 如 下 关于 法 锥 的 关系 式 成 立 : 
Nsa(z)C Ns(E)= (| Ne 加) (5.73) 


(J1,72)EP(T) 


下 面试 着 用 例子 来 说 明 式 (5.72) 与 式 (5.73) 中 的 包含 关系 . 
例 5.6 在 MPEC (5.59) 中 , 设 m”= 2,N = 1， 


Cli(z) = 271— T2， Hil(z) = 一 71 十 272 


并 且 不 存在 约束 条 件 g(z) < 0 与 h(z) = 0. 令 互 = 0, 则 有 ZI= 夺 = 台 及 了 = {1}， 
故 有 P(7) = {({1},2),(@,{1})}. MPEC (5.59) 的 可 行 域 5 与 松弛 问题 (5.71) 的 
可 行 域 Sa 在 点 至 处 的 切 锥 可 分 别 表示 如 下 : 


Ts(z)={y eR?|2n = vy 20}U{y ER |n = 2y > 0) 
Tsr(F) = fy ER2|2m >y > 3 > "} 
因此 , 这 两 个 切 锥 之 间 有 严格 包含 关系 
Ts(z) C Tsn (FE) 
成 立 , 但 它们 的 极 锥 , 即 法 锥 分 别 为 
Ns(£) = Nsn(¥) = {v ER? | +2v < 0, 201 + v2 < 0} 
即 两 者 是 一 致 的 (图 5.3). 
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TA) 


— : ~ D 
(二 =Na 合 


图 5.3 例 5.6 
例 5.7 在 MPEC (5.59) 中 , 设 n=2,N=1,m=1, 
G1(2)=271—72, Hi(z2)= -7z1+27r72, g(2)=71— 72 
并 且 不 存在 约束 条 件 h(z) = 0. 令 到 = 0, 则 有 工 =Kk=gg 及 J 了 = {1), 故 有 
P(I) = {({1},2), (2,{1})}. 由 于 问题 中 包含 约束 条 件 g(z) < 0, MPEC (5.59) 的 
可 行 域 5 与 松弛 问题 (5.71) 的 可 行 域 Sa 在 点 至 处 的 切 锥 可 分 别 表示 为 
Ts(z)={y € R? |2y, = vy > 0} 
Tsn(z)={y ER? |2y > yo > > 0} 
因此 , 这 两 个 切 锥 之 间 有 严格 包含 关系 
Ts(F) C Tsn{T) 
成 立 , 而 它们 的 极 锥 , 即 法 锥 分 别 为 
Ns(£)={v € R? |v + 2v2 < 0} 
Nsxr(£)={v € R? |v +2v2 < 0, vi + vo < 0} 


因此 , 与 例 5.6 不 同 , 这 两 个 法 锥 并 不 一 致 (图 5.4). 
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如 上 面 两 个 例子 所 示 , 一 般 来 说 , 式 (5.72) 中 关于 切 锥 的 包含 关系 C 不 能 换 成 
等 号 , 但 如 例 5.6 所 示 , 对 于 法 锥 来 说 , 式 (5.73) 中 


Ns(®) = Nsa(E) (5.74) 
成 立 的 情形 并 不 少见 . 特别 地 , 当 式 (5.74) 成 立时 , 最 优 性 条 件 (5.69) 等 价 于 
—V/(E) e Nsa (x) (5.75) 


由 于 松弛 问题 (5.71) 为 普通 的 非 线性 规划 问题 , 因此 , 在 适当 的 约束 规范 条 件 下 能 
够 推导 出 相应 的 KKT 条 件 . 利用 式 (5.65) 中 的 指标 集 工 = T(E), 7 了 = 了 (FE), 大 = 
KK(E) 以 及 由 M(E) = {ilgi(z) = 0, i = 1,… ,m} 所 定义 的 指标 集 M = M(E), 关 
于 MPEC 的 约束 规范 刻画 如 下 : 

MPEC 线性 独立 约束 规范 (MPEC-LICQ): 向 量 组 Vgi(z) (ie M), Vh;(E) 
(7 = 1,.… ,1D), VGi(F) (i Ee TUJ), VH;(Z) (i e 7 UK) 线性 无 关 . 

这 正 是 关于 松弛 问题 (5.71) 的 线性 独立 约束 规范 中. 由 引 理 3.7 及 引 理 3.8, 在 
MPEC-LICQ 的 条 件 下 , 限定 问题 (5.67) 与 松弛 问题 (5.71) 的 可 行 域 的 切 锥 可 分 别 
表示 如 下 : 

Ts(71,7) (1) = {v ER"| (Vgi(z),v) < 0, ie M, 
(Vhj(z),9) = 0,7= 1,.…,l, 
(VGi(F),») = 0,i€E TUN, 
(VGi(E),v) > 0ie Jh, 
{(VHi(Z),v) > 0,i€ Nn, 
{VHi(E),v) = 0,i€ KU J} 
Tsr (x) = {v Ee R"| (Vgi(z),v) < 0, i€E M, 
(Vhj(®),v) = 0,7 = 1,.… ,1, 
{VGi(E),v) = 0i ET 
{VGi(z),v) > 0ie 7, 
(VH(E),v) > 0,ieé 7, 
(VHi(z),v) = 0,i € K} 

下 面 的 引 理 证 明了 在 MPEC-LICQ 的 条 件 下 , MPEC (5.59) 与 松弛 问题 (5.71) 

的 可 行 域 的 法 锥 的 一 致 性 , 这 是 推导 关于 MPEC (5.59) 的 KKT 条 件 的 关键 . 


加 这 与 MPEC (5.59) 的 线性 独立 约束 规范 是 不 同 的 .实际 上 , 如 引 理 5.3 所 示 , 普通 的 约束 规范 对 
于 MPEC (5.59) 并 不 成 立 . 


(5.76) 


(5.77) 
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引 理 5.4 ”在 MPEC-LICQ 的 条 件 下 总 有 Ns(E) = Nsa(B) 成 立 . 进一步 , 对 
任意 ve Ns(E), 均 存 在 唯一 的 乘 子 A; (Ge M), pi (j=1,… ,1),& (ieETUJI) 及 
ni (ie 了 UK) 满足 


v= > MVgi(F) + Duh (z) — > EiVGi(E) 一 >》 mV Hi(z) 


iEM tiEITUJI iEJUK 


N20, iEM, 5>0icI， m20,iey (5.78) 


证 明 ”由 于 式 (5.73) 蕴涵 Ns(z) 2 Nsn(z), 故 只 需 证 明 Ns( 元 ) C Nsn(z). 
设 we Rn 为 Ns(E) 中 的 任意 向 量 ， 由 式 (5.73), 对 任意 (1, 及 ) e P(I) 均 有 
VE Ns(7i,z)( 互 )) 从 而 由 式 (5.76) 及 推论 2.1 存在 和 i (Ge M), pi (7 = 1,…,), & 
(iETIUJI) 及 ni (ie J 了 UK) 满足 


1 
v= 》 AVo(s) + Dvh(s)— 》 GVG(E)— 》 mV 丽人 
iEM j=1 i€EIUT iEITUK 
N20,iEM, &220,ieEh, m20,iEN 


由 MPEC-LICQ 知 , (Xi, pj,&, mi) 的 值 不 依 分 割 (多, 帮 ) 而 唯一 存在 , 故 Ni (ie M)， 
二 = 4-… 1)，& (iEIUJ) 及 ni (iE 了 UK) 必 满足 式 (5.78). 再 由 式 (5. 
与 推论 2.1 加 v € Nsn(F) 成 立 . 综 上 即 得 Ns(F) C Ns (五 ). 

下 面 的 定理 证 明了 关于 MPEC (5.59) 的 最 优 性 条 件 (5.69) 在 MPEC-LICQ 的 
假设 下 能 够 表述 成 与 普通 非 线性 规划 问题 的 KKT 条 件 极为 相似 的 形式 . MPEC 
(5.59) 的 KKT 条 件 与 普通 非 线 性 规划 问题 的 KKT 条 件 之 间 重 要 的 不 同 之 处 是 关 
于 互补 约束 条 件 : 只 有 在 Gi(z) > 0 与 H;(z) > 0 均 为 有 效 约束 时 , 对 应 的 Lagrange 
乘 子 才 为 非 负 值 , 而 对 应 其 他 互补 约束 条 件 的 Lagrange 乘 子 则 没有 符号 限制 . 

定理 5.18 设 豆 € R" 为 MPEC (5.59) 的 局 部 最 优 解 , 并 假设 其 满足 MPEC- 
LICQ, 则 存在 唯一 的 Lagrange 乘 子 入 e Rm, je Ri,EeERN 及 neRN 满足 


m Ll N 

Vf(E) + YD NVo(z) + > psVh(z) — (sve + mya)| = 
SI /一 ==】1 

和 Xi 过 0，gi( 元 ) < 0, Na 国 和 0， 一 J ,m 

hj(E)=0, j=1,..,l 

Gi(E) > 0, Hi(z) > 0, Gi(E)Hi(z) =0, i=1,...,N (5.79) 

Gi(E) >0=6&=0 

Hi(z)>0=3m=0 

Gi(z) = Hi(z)=0=620, m2>0 
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证 明 由 式 (5.69) 及 定理 5.4 可 知 , 满足 


1 
—Vf(E)= >》 XNVgi( 可 +》 HVhi(E)— > VG(E)— > mVvHi(z) 
iEM j=1 iETUT i€EIUK 
N20,ieM, 6&20,ieT, m2>0,ies 


的 乘 子 NA (ie M), 万 (7 =1,… ,1)，&i (iEIUJ) 以 及 nn (ie 了 UK) 是 唯一 存 
在 的 , 故 只 需 补充 定义 N = 0 (i gM)，é&i = 0 (ieE) 及 nh = 0 (ie 工 ) 即 得 定理 
结论 . 


5.6 习 题 


5.1 试 推导 出 例 5.1 的 KKT 条 件 , 并 验证 去 = (2,1)T 为 满足 该 条 件 的 一 
个 点 . 
5.2 考虑 下 面 的 二 次 规划 问题 : 


min 《cz) 十 3(z,Q2) 
st. 4z>bz>0 


其 中 Q 为 对 称 半 正定 矩阵 . 试 将 该 问题 的 KKT 条 件 转化 成 含有 单调 映射 的 线性 
互补 问题 . 
5.3 考虑 如 下 二 次 规划 问题 : 


min (c,z)+ 3(2,Qz) 
Rt Av>b 


其 中 Q 为 对 称 正定 矩阵 . 试 将 该 问题 的 Lagrange 对 偶 问题 的 KKT 条 件 转化 成 线 
性 互补 问题 . 

5.4 试 证 明 : 若 映射 下 : Rn 一 Rn 在 凸 集 5 C R" 上 强 单调 , 则 必 在 5 上 强 
制 . 

5.5 设 SS Rr" 为 长 方 体 , 试 证 明 : 车 下 在 S 上 严格 单调 , 则 必 为 P 函数 ; 若 
玉 在 S 上 强 单调 , 则 必 为 一 致 P 函数 . 

5.6 对 于 连续 单调 映射 玉 : Rn 一 R", 试 证 明 : 若 存 在 z0 € Rn, 使 得 F(x?) > 
0D, 则 玉 在 R? 上 是 强制 的 (从 而 利用 定理 5.3 可 知 , 互补 问题 (5.6) 在 该 条 件 下 
有 解 ). 


@ 由 下 的 连续 性 , 该 条 件 等 价 于 存在 m0, 使 得 2? > 0 且 F(z?) > 0. 
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5.7 设 正 :Rn 一 Rn 是 闭 凸 集 SS R" 上 系数 为 o 的 强 单调 映射 ,到 表示 变 
分 不 等 式 问 题 (5.1) 的 唯一 解 . 试 证 明 


(F(z),z —1)>ollz—all, zes 
成 立 , 并 且 当 2ac > 1 时 , 关于 正则 化 间隙 函数 g 有 下 面 的 式 子 成 立 : 
co)> (o- 去 )l2 -zl zs 


5.8 对 任意 e > 0 及 可 微 映射 下: Rn 一 Rn, 以 下 面 定义 的 函数 f(x) 为 第 ; 
个 分 量 的 映射 更 : Rn 一 Rn 是 可 微 的 : 


sf(o) = $ {s+ (lo) - Vor Ra +e) 


(1) 试 计算 映射 * 的 Jacobi 矩阵 VB:(z), 并 证 明 当 VF(z)T 为 P 矩阵 时 ， 
Vg (z) 非 奇 异 . 

(2) 试 证 明 : 对 于 以 式 (5.23) 中 的 B:(z) 为 第 i 个 分 量 的 映射 理 : Rn 一 Rn" 
有 下 面 的 不 等 式 成 立 : 


0<|(z)— $(o)| < Vne, reER” 


(提示 : min{a,b} = 3(a+b— Va 二 678) 成 立 ) 

(3) 试 证 明 : 当 g:(z) = 0 时 有 zi > 0, (2) > 0, ziR(2)=e2 (i=1,.…,n) 
成 立 . 

5.9 对 任意 > 0 及 可 微 映射 F: R" 一 R", 以 下 面 定义 的 函数 yf(z) 为 第 i 
个 分 量 的 映射 更 : : Rn 一 Rn 是 可 微 的 : 


VE(z) = zi 十 及 (z) — Yr? + F(z)? +e? 


(1) 试 计算 映射 更 * 的 Jacobi 矩阵 更 s(x), 并 证 明 当 VF(z)T 为 P 矩阵 时 ， 
VEs(z) 非 奇异 . 

(2) 试 证 明 : 对 于 以 式 (5.28) 及 (5.29) 中 的 玩 (z) 为 第 i 个 分 量 的 映射 更 : 
Rn 一 Rm" 有 下 面 的 不 等 式 成 立 : 


0< | 更 (z) -更 *(zjl| < Vie, zeRn 


(3) 试 证 明 : 当 更 s(z) = 0 时 有 zi > 0, F(z) > 0, ziRi(z) = ec2/2 (i=1,.…,n) 
成 立 . 
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5.10 证 明 Mangasarian-Fromovitz 约束 规范 在 满足 互补 条 件 (5.64) 的 任意 点 
2 处 均 不 成 立 . 
5.11 考虑 下 面 的 MPEC: 


min (zl 十 1)2 十 (za 十 1 
St. 7 十 Z2 一 2>20, zz 一 1>0 
(zl 十 Z2 一 2)(zz 一 1)=0 
试 描绘 出 该 问题 的 可 行 域 , 并 求 出 其 最 优 解 . 进一步 , 验证 MPEC-LICQ 在 最 优 解 
处 是 否 成 立 , 并 在 成 立 的 情形 下 求 出 满足 KKT 条 件 (5.79) 的 Lagrange 乘 子 . 
5.12 对 给 定 的 映射 下 :5S" 一 S", 求 满足 


F(X)>O, X>O, (F(X),X)=0 


的 矩阵 处 € 5S" 的 问题 称 为 半 定 互补 问题 (semidefinite complementarity problem). 
试 证 明和 矩阵 Xe S" 为 该 问题 的 解 的 充 要 条 件 是 


F(X)>O, X>O, F(X)X=O 
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说 在 此 列举 本 书写 作 期 间 所 参考 过 的 文献 以 及 其 他 与 本 书 内 容 密切 相关 的 重 
要 文献 . 

在 非 线 性 最 优化 的 教科 书 中 , 重点 讲解 最 优化 方法 (算法 ) 的 已 经 出 版 很 多 了 ， 
这 里 特别 推荐 Bertsekas 所 著 的 对 于 最 优 性 条 件 、 对 偶 定 理 等 理论 部 分 也 同样 讲解 
得 非常 透彻 的 优秀 著作 [6]. 

关于 第 2 章 中 的 凸 分 析 部 分 , 除了 Rockafellar 的 经 典 名 著 [32] 之 外 , Ekeland 
与 Temam 所 著 [13], Hiriart-Urruty 与 Lemaréchal 所 著 [19], Borwein 与 Lewis 所 
著 [9], Auslender 与 Teboulle 所 著 [3] 以 及 Bertsekas 所 著 [7] 等 也 都 是 很 有 特色 的 
优秀 著作 , 而 主要 讲解 凸 分 析 的 日 版 著作 则 包括 布 川中 山 、 谷 野 的 [17] 以 及 田中 
的 [37] 等 . 在 线性 代数 , 特别 是 有 关 和 矩阵 的 各 种 性 质 方面 , Horn 与 Johnson 的 著作 
[20] 是 非常 适宜 的 优秀 教科 书 . 另外 , Ortega 与 Rheinboldt 所 著 [29] 的 Part 1 及 
Part 2 对 最 优化 理论 中 经 常 使 用 的 线性 代数 与 微 积分 的 内 容 进行 了 精 要 的 概括 , 也 
是 非常 便利 的 著作 . 关于 点 集 映射 的 基本 性 质 , 推荐 阅读 Berge 的 经 典 名 著 [5]. 关 
于 凸 分 析 与 点 集 映 射 等 内 容 的 各 种 推广 , 除了 Rockafellar 与 Wets 的 700 余 页 的 大 
作 [36] 之 外 , 还 包括 Clarke 所 著 [10], Aubin 与 Frankowska 所 著 [1] 以 及 Clarke, 
Ledyaev, Stern,， Wolenski 所 著 [11] 等 . 此 外 , 对 于 准 凸 函数 、 拟 凸 函 数 、 择 一 定理 
等 内 容 系 统 概括 的 Mangasarian 的 [25] 也 是 值得 一 读 的 著作 . 室 田 有 关 离 散 凸 分 
析 的 著作 [27] 将 凸 分 析 理 论 推 广 到 离散 空间 上 进行 讨论 , 也 是 非常 有 趣 的 著作 . 另 
外 , 虽然 本 书 中 没有 涉及 , Nesterov 与 Nemirovskii 所 著 [28] 介绍 了 被 称 为 自 和 谐 
障碍 函数 (self-concordant barrier function) 的 凸 函 数 类 在 求解 凸 优化 问题 的 牛顿 法 
中 的 重要 作用 , 对 内 点 法 理论 的 发 展 做 出 了 重大 贡献 . 

关于 Karush-Kuhn-Tucker 条 件 等 最 优 性 条 件 的 内 容 在 大 部 分 教科 书 中 都 有 讲 
述 , 而 Bazaraa 与 Shetty 所 著 [4] 以 及 今 野 与 山下 所 著 [22] 均 对 约束 规范 有 详尽 
的 描述 . 关于 不 可 微 最 优化 问题 的 最 优 性 条 件 ，Clarke 所 著 [10], Rockafellar 所 著 
[35] 以 及 Rockafellar 与 Wets 所 著 [36] 均 进 行 了 详细 的 讨论 . 此 外 , 关于 稳定 性 理 
论 可 参见 Berge 的 著作 [5], 关于 灵敏 度 分 析 可 参见 Fiacco 与 McCormick 的 著作 
[16] 或 者 Bonnans 与 Shapiro 的 著作 [8]. 

关于 凸 规划 问题 的 Lagrange 对 偶 性 理论 在 大 部 分 教科 书 中 都 有 论述 , 本 书 采 
用 的 则 是 Rockafellar 所 著 [34] 中 将 非 凸 函数 一 并 考虑 的 途径 . 关于 函数 空间 中 最 优 
化 问题 的 对 偶 性 , Luenberger 的 著作 [23] 中 有 极 出 色 的 论述 . 另外 , Rockafellar 所 著 


.186 - 后 记 


[32] 以 及 Rockafellar 与 Wets 所 著 [36] 对 于 Fenchel 对 偶 性 有 详细 讲述 . Bertsekas 
的 著作 [7] 对 Lagrange 及 Fenchel 对 偶 性 理论 的 解释 通俗 易 懂 . 关于 半 定 规划 问题 
的 对 偶 性 理论 与 相关 话题 则 被 收录 在 由 Wolkowicz, Saigal, Vandenberghe 所 编辑 的 
手册 [38] 中 . 

关于 变 分 不 等 式 问题 的 早期 著作 包括 Auslender 所 著 的 [2] 以 及 Kinderlehrer 
与 Stampacchia 所 著 的 [21], 其 后 的 进展 介绍 则 包括 Harker 与 Pang 的 [18] 以 及 
Facchinei 与 Pang 的 [1 可 .特别 地 , 后 者 是 全 面 介绍 均衡 问题 的 优秀 著作 . 此 外 ， 
Cottle, Pang, Stone 所 著 [12] 对 于 线性 互补 问题 有 着 非常 详尽 的 讲述 . 关于 MPEC 
的 教科 书 则 首 推 Luo, Pang, Ralph 的 [24]. 虽然 本 书 中 没 能 令 及 , 关于 在 最 优化 问 
题 或 者 均衡 问题 的 迭代 法 的 收敛 性 分 析 等 方面 起 着 重要 作用 的 误差 界 条 件 可 参见 
Pang 的 [30]. 

上 面 主要 介绍 的 是 教科 书 和 综述 文章 , 基本 上 没有 提 及 科研 论文 之 类 . 关于 进 
一 步 更 详尽 的 信息 , 希望 读者 自己 查阅 上 述 文献 及 其 参考 文献 . 
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首先 感谢 福 岛 先 生 多 年 来 的 栽培 与 厚爱 . 

2000 年 10 月 , 我 作为 日 本 文部 省 国 费 留 学 生 首 度 来 到 京都 大 学 , 彼 时 的 我 对 
最 优化 理论 所 知 密 密 , 十 足 一 个 门外汉 . 先生 不 嫌 不 弃 , 循循善诱 , 悉心 指导 , 使 我 
得 以 如 期 完成 学 业 . 2004 年 11 月 , 我 以 日 本 学 术 振兴 会 (JSPS) 外 国人 特别 研究 员 
的 身份 再 度 造访 京都 大 学 , 这 一 待 又 是 两 年 .在 这 样 一 个 从 事 科 研 的 黄金 时 段 里 ， 
我 在 福 岛 先生 的 身边 前 后 度 过 了 五 年 半 的 时 光 , 耳濡目染 , 得 罕 学 术 殿 堂 之 一 隅 , 这 
真是 我 的 荣幸 ! : 

《 非 线性 最 优化 基础 》 是 福 岛 先生 的 近 作 之 一 , 内 容 甚 至 包括 了 MPEC 等 目 
前 尚 在 发 展 中 的 热点 课题 , 近年 来 在 京都 大 学 一 直 作为 研究 生 教材 使 用 , 广 受 好 评 . 
2006 年 11 月 , 在 我 回国 之 前 , 福 岛 先生 慷慨 地 将 此 书 日 本 版 的 ITFX 源 文件 相 赠 . 
2008 年 9 月 , 先生 代 夫 人 访问 大 连 时 , 我 特别 邀请 了 内 蒙古 民族 大 学 的 韩 海山 教 
授 和 中 国 农业 大 学 的 钟 萍 博士 前 来 作 陪 . 期 间 , 韩 海山 教授 也 表示 出 了 对 本 书 的 兴 
趣 , 本 书 的 第 3 章 就 是 基于 他 的 初稿 完成 的 . 在 此 , 我 对 韩 海山 教授 的 帮助 谨 致 最 
诚挚 的 谢意 ! 

中 国运 筹 学 会 理事 长 、 中 国 科学 院 数学 与 系统 科学 研究 院 袁 亚 湘 研究 员 欣 然 
为 本 书 作 序 , 说 在 此 表示 衷心 的 感谢 ! 

值 本 书 即 将 出 版 之 际 , 谨 对 过 去 给 予 我 支持 、 理解 和 帮助 的 诸位 前 辈 、 同 仁 表 
示 感 谢 ! 特别 感谢 香港 理工 大 学 祁 力 群 教授 和 陈 小 君 教授 、 京都 大 学 情报 学 研究 科 
福 岛 研究 室 山 下 信雄 先生 和 事务 官 矢 仓 文慧 女士 、 北 京 交 通 大 学 修 乃 华 教授 、 华 南 
师范 大 学 李 董 辉 教授 、 中 国 科学 院 杨晓光 研究 员 、 大 连理 工大 学 的 各 位 同事 以 及 其 
他 许多 没有 提 及 名 字 的 朋友 . 

谨 以 本 书 纪 念 华盛顿 大 学 的 Paul Tseng 教授 ! 他 曾经 亲自 指导 我 修改 会 议 报 
告 , 这 让 我 终生 受益 . 我 们 还 曾 一 起 冒 雨 观 看 京都 三 大 化 之 一 的 英和 祭 的 大 游行 , 这 
一 切 好像 就 发 生 在 昨天 . 愿 教授 平安 ! 

感谢 科学 出 版 社 的 王 丽 平等 编辑 在 本 书 出 版 过 程 中 所 给 予 的 大 力 支持 和 帮助 . 
此 外 , 还 要 特别 感谢 我 的 父母 、 妻 子 和 女儿 , 没有 他 们 多 年 来 的 支持 和 理解 , 我 将 会 
一 事 无 成 . 


. 188 . 译 者 后 记 


本 书 的 出 版 得 到 了 国家 自然 科学 基金 (项 目 编号 10771025, 11071028) 以 及 大 
连理 工大 学 基本 科研 业务 费 重点 项 目 培育 基金 的 资助 . 由 于 译 者 水 平 有 限 , 翻译 中 
不 妥 之 处 在 所 难免 , 敬 请 读者 批评 指正 . 


林 责 华 
2010 年 5 月 于 大 连 


